Python でSage X3 Cloud のデータを変換・出力するETL 処理を作る方法

Pythonエコシステムには多くのモジュールがあり、システム構築を素早く効率的に行うことができます。本記事では、CData Python Connector for SageX3Cloud とpetl フレームワークを使って、Sage X3 Cloud のデータにPython から接続してデータを変換、CSV に出力するETL 変換を実装してみます。

CData Python Connector は効率的なデータ処理によりSage X3 Cloud のデータ にPython から接続し、高いパフォーマンスを発揮します。Sage X3 Cloud にデータをクエリする際、ドライバーはフィルタリング、集計などがサポートされている場合SQL 処理を直接Sage X3 Cloud 側に行わせ、サポートされていないSQL 処理については、組み込みのSQL エンジンによりクライアント側で処理を行います（JOIN やSQL 関数など）。

必要なモジュールのインストール

pip で必要なモジュールおよびフレームワークをインストールします：

pip install petl
pip install pandas

Python でSage X3 Cloud のデータをETL 処理するアプリを構築

モジュールとフレームワークをインストールしたら、ETL アプリケーションを組んでいきます。コードのスニペットは以下の通りです。フルコードは記事の末尾に付いています。

CData Connector を含むモジュールをインポートします。

import petl as etl
import pandas as pd
import cdata.sagex3cloud as mod

接続文字列で接続を確立します。connect 関数を使って、CData Sage X3 Cloud Connector からSage X3 Cloud への接続を行います

cnxn = mod.connect("AuthScheme=OAuth;URL=https://x3server/;OAuthAccessTokenUrl=https://auth-domain/oauth/token;OAuthClientId=your_client_id;OAuthClientSecret=your_client_secret;Audience=https://api-audience;XAPIKey=your_api_key;Folder=SEED;")

Sage X3 Cloud では OAuth 2.0 の Client Credentials フローを使用し、API へのアクセスには X-API-Key も必要です。AuthScheme を OAuth に設定し、以下の接続プロパティを指定します。

• URL：Sage X3 Cloud インスタンスのベース URL。
• OAuthAccessTokenUrl：OAuth トークンエンドポイント（例：https://your-auth-domain/oauth/token）。
• OAuthClientId：OAuth アプリケーションのクライアント ID。
• OAuthClientSecret：OAuth アプリケーションのクライアントシークレット。
• Audience：トークンリクエストで使用する API の Audience 値。
• XAPIKey：Sage X3 Cloud の管理者から提供された X-API-Key。
• Folder：Sage X3 のフォルダ名（例：SEED）。このフォルダがデフォルトのスキーマとして使用されます。
• Folders（オプション）：Sage X3 フォルダのカンマ区切りリスト（例：SEED,PERF）。各フォルダが個別のスキーマとして公開されるため、Schema.Table 構文でフォルダをまたいだクエリを実行できます。

ドライバーは Client Credentials フローでアクセストークンを取得し、すべての API リクエストで X-API-Key とあわせて送信します。InitiateOAuth を GETANDREFRESH（デフォルト）に設定しておけば、トークンの取得と更新は自動で行われます。

Sage X3 Cloud をクエリするSQL 文の作成

Sage X3 Cloud にはSQL でデータアクセスが可能です。BPCUSTOMER エンティティからのデータを読み出します。

sql = "SELECT BPCNUM, BPCNAM FROM BPCUSTOMER WHERE BPCNUM = 'MARTIN'"

Sage X3 Cloud データのETL 処理

DataFrame に格納されたクエリ結果を使って、petl でETL（抽出・変換・ロード）パイプラインを組みます。この例では、Sage X3 Cloud のデータ を取得して、BPCNAM カラムでデータをソートして、CSV ファイルにデータをロードします。

table1 = etl.fromdb(cnxn,sql)

table2 = etl.sort(table1,'BPCNAM')

etl.tocsv(table2,'bpcustomer_data.csv')

CData Python Connector for SageX3Cloud を使えば、データベースを扱う場合と同感覚で、Sage X3 Cloud のデータ を扱うことができ、petl のようなETL パッケージから直接データにアクセスが可能になります。

おわりに

Sage X3 Cloud Python Connector の30日の無償トライアル をぜひダウンロードして、Sage X3 Cloud のデータ への接続をPython アプリやスクリプトから簡単に作成しましょう。

フルソースコード

import petl as etl
import pandas as pd
import cdata.sagex3cloud as mod

cnxn = mod.connect("AuthScheme=OAuth;URL=https://x3server/;OAuthAccessTokenUrl=https://auth-domain/oauth/token;OAuthClientId=your_client_id;OAuthClientSecret=your_client_secret;Audience=https://api-audience;XAPIKey=your_api_key;Folder=SEED;")

sql = "SELECT BPCNUM, BPCNAM FROM BPCUSTOMER WHERE BPCNUM = 'MARTIN'"

table1 = etl.fromdb(cnxn,sql)

table2 = etl.sort(table1,'BPCNAM')

etl.tocsv(table2,'bpcustomer_data.csv')