OData ServicesをPythonのpetlでETL処理する方法｜CData Connect AI

Jerod Johnson
Director, Technology Evangelism

CData Connect AI Python SDKとpetlフレームワークで、リアルタイムのOData servicesを抽出・変換・ロードするETLパイプラインの構築方法を解説。読み取りから書き込みまで対応します。

CData Connect AI の Python SDK と petl フレームワークを使うと、OData servicesをローカルにドライバーをインストールすることなく、Pythonで直接抽出・変換・ロードするETLパイプラインを構築できます。パーソナルアクセストークンで接続し、数行のコードで設定完了です。

Python は豊富なモジュールのエコシステムを備えているため、素早く作業に取りかかり、システムをより効果的に連携できます。CData Connect AI Python SDK と petl フレームワークを使えば、OData servicesを抽出・変換して CSV などに出力する OData 連携のアプリケーションやパイプラインを構築できます。この記事では、Connect AI に接続し、petl を使ってOData servicesを抽出・変換し、CSV ファイルに書き出す方法をご紹介します。

Connect AI Python SDK（cdata-connect-ai）は DB-API 2.0（PEP 249）に準拠したクライアントなので、petl は etl.fromdb を使って SDK の接続から直接読み取れます。ソースごとにドライバーをインストールする必要はありません。パーソナルアクセストークンで接続して、パイプラインを構築しましょう。

Python + petl でできること

OData データの定期抽出パイプライン構築

SQL クエリで取得した OData のレコードを petl の etl.fromdb で抽出し、etl.sort などの変換処理をはさんでから CSV に書き出す、軽量な ETL パイプラインを構築できます。

複数データソースとの統合分析

DB-API 2.0 準拠のクライアントなので、同じコードパターンで OData 以外のデータソースにも接続でき、petl 上で結合・整形してから任意の出力先にロードできます。

OData への書き戻し処理の自動化

書き込みに対応した権限を持つ PAT で接続していれば、cursor.executemany を使ったバッチ INSERT により、変換済みデータを OData に自動で書き戻す処理を組み込めます。

OData データ連携について

CData は、OData サービスのライブデータへのアクセスと統合を簡素化します。お客様は CData の接続機能を以下の目的で活用しています：

OData バージョン 2.0、3.0、4.0 にアクセスでき、レガシーサービスと最新の機能・性能の両方に対応できます。
$filter、$select、$expand などの高度なクエリオプションを活用し、サードパーティツールからのデータ取得を強化できます。
サーバーサイドでの集計とグループ化の実行により、データ転送を最小化し、パフォーマンスを向上させます。
Azure AD、ダイジェスト、ネゴシエート、NTLM、OAuth など、さまざまなスキームを使用して安全に認証でき、すべての接続でセキュアな認証を実現します。
SQL ストアドプロシージャを使用して、OData サービスエンティティを管理できます。エンティティ間の関連付けの一覧表示、作成、削除などが可能です。

お客様は、Power BI、MicroStrategy、Tableau などのお気に入りのツールと OData サービスを定期的に統合し、OData サービスからデータベースやデータウェアハウスにデータをレプリケートするために CData のソリューションを使用しています。

はじめに

Connect AI で OData に接続する方法は？

CData Connect AI では、直感的なクリック操作ベースのインターフェースでデータソースに接続できます。

Connect AI にログインし、Sources をクリックして、 Add Connection をクリックします

「Add Connection」パネルから「OData」を選択します

OData に接続するために必要な認証プロパティを入力します。

OData への接続

OData に接続するには、Url を有効なOData サービスルートURI に設定する必要があります。 OData サービスにルートドキュメントがない場合、テーブルとして公開したい特定のエンティティをFeedURL に指定してください。

OData への認証

OData は、以下を経由する認証をサポートします。

HTTP
Kerberos
SharePoint Online
OAuth
Azure AD

HTTP 認証スキーム

HTTP で認証する場合は、次の表に従ってAuthScheme を設定します。

Scheme	AuthScheme	その他の設定
None	None	認証を必要としない場合に使用。
Basic	Basic	User、Password
NTLM	NTLM	User、Password
Digest（サポートされている場合）	Digest	User、Password

その他の認証方法の詳細は、ヘルプドキュメントの「接続の確立」セクションを参照してください。

「Save & Test」をクリックします
「Permissions」タブに移動し、ユーザーベースの権限を更新します。

パーソナルアクセストークン（PAT）を生成する

Python SDK は、アカウントのメールアドレスとパーソナルアクセストークン（PAT）を使って Connect AI に認証します。アクセスの粒度を保つために、アプリケーションごとに個別の PAT を作成することをおすすめします。

Connect AI アプリの右上にある歯車アイコン（）をクリックして、設定ページを開きます。
設定ページの Access Tokens セクションに移動し、 Create PAT をクリックします。
PAT に名前を付けて Create をクリックします。
パーソナルアクセストークンは作成時にのみ表示されます。必ずコピーして安全な場所に保管してください。

必要なモジュールをインストールする方法は？

pip ユーティリティを使って、SDK と petl フレームワークをインストールします。

pip install cdata-connect-ai
pip install petl

Python で OData Servicesの ETL アプリを構築する方法は？

必要なモジュールをインストールしたら、ETL アプリを構築する準備は完了です。以下にコードスニペットを紹介しますが、完全なソースコードは記事の末尾に掲載しています。

まずモジュールをインポートし、アカウントのメールアドレスと PAT で Connect AI に接続します。

import petl as etl
import cdata_connect_ai

conn = cdata_connect_ai.connect(
    username="[email protected]",
    password="<your_pat>",
)

OData をクエリする SQL ステートメントを作成する方法は？

SQL を使って、OData をクエリするステートメントを作成します。この記事では、Orders エンティティからデータを読み取ります。識別子は <Connection>.<Schema>.<Table> という3つの部分で構成されており、接続名はデフォルトでソース名（例：OData1）になります。

sql = (
    "SELECT OrderName, Freight "
    "FROM [OData1].[OData].[Orders] "
    "WHERE ShipCity = 'New York'"
)

OData Servicesの抽出・変換・ロードを実装する方法は？

接続とクエリが準備できたら、petl を使ってOData servicesを抽出・変換・ロードします。この例では、OData servicesを抽出し、Freight カラムでデータを並べ替えて、CSV ファイルにロードします。

table1 = etl.fromdb(conn, sql)

table2 = etl.sort(table1, 'Freight')

etl.tocsv(table2, 'orders_data.csv')

新しい行を OData に書き戻す方法は？

OData が書き込みに対応している場合は、バッチ INSERT で行を書き戻せます。SDK の executemany は、@name のプレースホルダーと、1行につき1つのパラメータ辞書のリストを受け取ります。

cur = conn.cursor()
cur.executemany(
    "INSERT INTO [OData1].[OData].[Orders] (OrderName, Freight) "
    "VALUES (@val1, @val2)",
    [
        {"@val1": "New value 1", "@val2": "New value 1"},
        {"@val1": "New value 2", "@val2": "New value 2"},
    ],
)
print(f"Rows inserted: {cur.rowcount}")

conn.close()

注意：書き込み可能なソースであっても、読み取り専用の PAT や接続権限では書き込み操作は拒否されます。

CData Connect AI Python SDK を使えば、petl のような ETL パッケージでのデータへの直接アクセスも含め、通常のデータベースと同じようにOData servicesを扱えます。