MYOB AccountRight のデータをPythonのpetlでETL処理する方法｜CData Connect AI

Jerod Johnson
Director, Technology Evangelism

CData Connect AI Python SDKとpetlフレームワークで、リアルタイムのMYOB AccountRight のデータを抽出・変換・ロードするETLパイプラインの構築方法を解説。読み取りから書き込みまで対応します。

CData Connect AI の Python SDK と petl フレームワークを使うと、MYOB AccountRight のデータをローカルにドライバーをインストールすることなく、Pythonで直接抽出・変換・ロードするETLパイプラインを構築できます。パーソナルアクセストークンで接続し、数行のコードで設定完了です。

Python は豊富なモジュールのエコシステムを備えているため、素早く作業に取りかかり、システムをより効果的に連携できます。CData Connect AI Python SDK と petl フレームワークを使えば、MYOB AccountRight のデータを抽出・変換して CSV などに出力する MYOB AccountRight 連携のアプリケーションやパイプラインを構築できます。この記事では、Connect AI に接続し、petl を使ってMYOB AccountRight のデータを抽出・変換し、CSV ファイルに書き出す方法をご紹介します。

Connect AI Python SDK（cdata-connect-ai）は DB-API 2.0（PEP 249）に準拠したクライアントなので、petl は etl.fromdb を使って SDK の接続から直接読み取れます。ソースごとにドライバーをインストールする必要はありません。パーソナルアクセストークンで接続して、パイプラインを構築しましょう。

Python + petl でできること

MYOB AccountRight データの定期抽出パイプライン構築

SQL クエリで取得した MYOB AccountRight のレコードを petl の etl.fromdb で抽出し、etl.sort などの変換処理をはさんでから CSV に書き出す、軽量な ETL パイプラインを構築できます。

複数データソースとの統合分析

DB-API 2.0 準拠のクライアントなので、同じコードパターンで MYOB AccountRight 以外のデータソースにも接続でき、petl 上で結合・整形してから任意の出力先にロードできます。

MYOB AccountRight への書き戻し処理の自動化

書き込みに対応した権限を持つ PAT で接続していれば、cursor.executemany を使ったバッチ INSERT により、変換済みデータを MYOB AccountRight に自動で書き戻す処理を組み込めます。

Connect AI で MYOB AccountRight に接続する方法は？

CData Connect AI では、直感的なクリック操作ベースのインターフェースでデータソースに接続できます。

Connect AI にログインし、Sources をクリックして、 Add Connection をクリックします

「Add Connection」パネルから「MYOB AccountRight」を選択します

MYOB AccountRight に接続するために必要な認証プロパティを入力します。

MYOB への接続

MYOB 会社ファイルに接続するには、CompanyFileId をデータを取得したい会社ファイルのID に設定します。指定しない場合は、最初に返された会社ファイルのID（アルファベット順にソート）が使用されます。

この接続プロパティは、CompanyFiles ビューを除くすべてのテーブルおよびビューにアクセスするために必要です。CompanyFiles ビューは、アカウントに紐づく会社ファイル（およびその関連ID）を表示するために使用できます。会社ファイルのID がわからない場合は、このビューを使用してください。

次のプロパティを追加設定します。

オンプレミスインスタンス	Instance：OnPremises
	AuthScheme：Basic
	User：会社のファイルに紐づいているユーザー名。会社ファイルを作成すると、Administrator というユーザーアカウントが自動的に作成されます。デフォルトでは、Administrator ユーザーアカウントにはパスワードが割り当てられません。
	InitiateOAuth：OFF。
	URL：MYOB インスタンスのURL。
クラウドインスタンス	Instance：Cloud
	AuthScheme：OAuth
	InitiateOAuth：GETANDREFRESH。
	User：会社のファイルに紐づいているユーザー名。
	Password：（パスワードが設定されている場合）会社ファイルの認可されたユーザーのパスワード

OAuth で認証する場合は、さらにヘルプドキュメントを参照してください。

「Save & Test」をクリックします
「Permissions」タブに移動し、ユーザーベースの権限を更新します。

パーソナルアクセストークン（PAT）を生成する

Python SDK は、アカウントのメールアドレスとパーソナルアクセストークン（PAT）を使って Connect AI に認証します。アクセスの粒度を保つために、アプリケーションごとに個別の PAT を作成することをおすすめします。

Connect AI アプリの右上にある歯車アイコン（）をクリックして、設定ページを開きます。
設定ページの Access Tokens セクションに移動し、 Create PAT をクリックします。
PAT に名前を付けて Create をクリックします。
パーソナルアクセストークンは作成時にのみ表示されます。必ずコピーして安全な場所に保管してください。

必要なモジュールをインストールする方法は？

pip ユーティリティを使って、SDK と petl フレームワークをインストールします。

pip install cdata-connect-ai
pip install petl

Python で MYOB AccountRight のデータの ETL アプリを構築する方法は？

必要なモジュールをインストールしたら、ETL アプリを構築する準備は完了です。以下にコードスニペットを紹介しますが、完全なソースコードは記事の末尾に掲載しています。

まずモジュールをインポートし、アカウントのメールアドレスと PAT で Connect AI に接続します。

import petl as etl
import cdata_connect_ai

conn = cdata_connect_ai.connect(
    username="[email protected]",
    password="<your_pat>",
)

MYOB AccountRight をクエリする SQL ステートメントを作成する方法は？

SQL を使って、MYOB AccountRight をクエリするステートメントを作成します。この記事では、Accounts エンティティからデータを読み取ります。識別子は <Connection>.<Schema>.<Table> という3つの部分で構成されており、接続名はデフォルトでソース名（例：MYOB1）になります。

sql = (
    "SELECT Id, Name "
    "FROM [MYOB1].[MYOB].[Accounts] "
    "WHERE Type = 'Bank'"
)

MYOB AccountRight のデータの抽出・変換・ロードを実装する方法は？

接続とクエリが準備できたら、petl を使ってMYOB AccountRight のデータを抽出・変換・ロードします。この例では、MYOB AccountRight のデータを抽出し、Name カラムでデータを並べ替えて、CSV ファイルにロードします。

table1 = etl.fromdb(conn, sql)

table2 = etl.sort(table1, 'Name')

etl.tocsv(table2, 'accounts_data.csv')

新しい行を MYOB AccountRight に書き戻す方法は？

MYOB AccountRight が書き込みに対応している場合は、バッチ INSERT で行を書き戻せます。SDK の executemany は、@name のプレースホルダーと、1行につき1つのパラメータ辞書のリストを受け取ります。

cur = conn.cursor()
cur.executemany(
    "INSERT INTO [MYOB1].[MYOB].[Accounts] (Id, Name) "
    "VALUES (@val1, @val2)",
    [
        {"@val1": "New value 1", "@val2": "New value 1"},
        {"@val1": "New value 2", "@val2": "New value 2"},
    ],
)
print(f"Rows inserted: {cur.rowcount}")

conn.close()

注意：書き込み可能なソースであっても、読み取り専用の PAT や接続権限では書き込み操作は拒否されます。

CData Connect AI Python SDK を使えば、petl のような ETL パッケージでのデータへの直接アクセスも含め、通常のデータベースと同じようにMYOB AccountRight のデータを扱えます。