SAP SuccessFactors のデータをPythonのpetlでETL処理する方法｜CData Connect AI
CData Connect AI の Python SDK と petl フレームワークを使うと、SAP SuccessFactors のデータをローカルにドライバーをインストールすることなく、Pythonで直接抽出・変換・ロードするETLパイプラインを構築できます。パーソナルアクセストークンで接続し、数行のコードで設定完了です。
Python は豊富なモジュールのエコシステムを備えているため、素早く作業に取りかかり、システムをより効果的に連携できます。CData Connect AI Python SDK と petl フレームワークを使えば、SAP SuccessFactors のデータを抽出・変換して CSV などに出力する SAP SuccessFactors 連携のアプリケーションやパイプラインを構築できます。この記事では、Connect AI に接続し、petl を使ってSAP SuccessFactors のデータを抽出・変換し、CSV ファイルに書き出す方法をご紹介します。
Connect AI Python SDK（cdata-connect-ai）は DB-API 2.0（PEP 249）に準拠したクライアントなので、petl は etl.fromdb を使って SDK の接続から直接読み取れます。ソースごとにドライバーをインストールする必要はありません。パーソナルアクセストークンで接続して、パイプラインを構築しましょう。
Python + petl でできること
SAP SuccessFactors データの定期抽出パイプライン構築
SQL クエリで取得した SAP SuccessFactors のレコードを petl の etl.fromdb で抽出し、etl.sort などの変換処理をはさんでから CSV に書き出す、軽量な ETL パイプラインを構築できます。
複数データソースとの統合分析
DB-API 2.0 準拠のクライアントなので、同じコードパターンで SAP SuccessFactors 以外のデータソースにも接続でき、petl 上で結合・整形してから任意の出力先にロードできます。
SAP SuccessFactors への書き戻し処理の自動化
書き込みに対応した権限を持つ PAT で接続していれば、cursor.executemany を使ったバッチ INSERT により、変換済みデータを SAP SuccessFactors に自動で書き戻す処理を組み込めます。
Connect AI で SAP SuccessFactors に接続する方法は？
CData Connect AI では、直感的なクリック操作ベースのインターフェースでデータソースに接続できます。
- Connect AI にログインし、Sources をクリックして、 Add Connection をクリックします
- 「Add Connection」パネルから「SAP SuccessFactors」を選択します
-
SAP SuccessFactors に接続するために必要な認証プロパティを入力します。
SAP SuccessFactorsへの接続
それでは、SAP SuccessFactors に接続していきましょう。CData 製品は、デフォルトで有効になっているOData API を介してSAP SuccessFactors と通信します。追加の権限が必要な場合は、SAP サポートサイトをご確認ください。
認証方法として、Azure AD 認証、SAP IAS 認証、OAuth 認証（推奨）、Basic 認証（非推奨）のいずれかを使用してSAP SuccessFactors に認証できます。
必要な接続プロパティ
選択したAuthScheme に関わらず、SAP SuccessFactors 環境を識別するために以下の接続プロパティを設定しましょう。
- URL：SuccessFactors をホストするサーバーのURL
- CompanyId：SAP SuccessFactors テナントに割り当てられた一意の識別子。この値はAPI 認証に必要で、組織固有のものです
OAuth 認証
SAP SuccessFactors では、OAuth 認証を2種類のグラント種別でサポートしています。
- SAP SuccessFactors LMS インスタンスのクライアントグラント種別
- SAML-2 Bearer グラント種別
OAuth 認証を有効にするには、すべてのOAuth フローでカスタムOAuth アプリケーションを作成し、適切なプロパティを設定する必要があります。
デスクトップアプリケーションでカスタムOAuth アプリケーションの資格情報を使用して認証するには、OAuth アクセストークンを取得し、更新する必要があります。これらを設定すると、接続の準備が整います。
OAuth アクセストークンの取得およびリフレッシュ
以下のプロパティを設定してください。
- InitiateOAuth：GETANDREFRESH。OAuthAccessToken を自動的に取得およびリフレッシュするために使用します
- OAuthClientId：アプリケーションの登録時に割り当てられたクライアントId
- CallbackURL：カスタムOAuth アプリケーションの登録時に定義されたリダイレクトURI
- OAuthClientSecret （クライアントグラント種別のみ）：アプリケーションの登録時に割り当てられたクライアントシークレット
- PrivateKey （SAML-2 Bearer グラント種別のみ）：カスタムOAuth アプリケーションの作成時にダウンロードした秘密鍵証明書のパス、またはその証明書のbase64 でエンコードされた内容
接続すると、CData 製品がデフォルトブラウザでSAP SuccessFactors のOAuth エンドポイントを開きます。ログインして、アプリケーションにアクセス許可を与えてください。
アプリケーションにアクセス許可を与えると、CData 製品がOAuth プロセスを完了します。
- CData 製品がSAP SuccessFactors からアクセストークンを取得し、それを使ってデータをリクエストします
- OAuth 値はOAuthSettingsLocation で指定されたパスに保存されます。これらの値は接続間で永続化されます
アクセストークンの期限が切れた際は、CData 製品が自動でアクセストークンをリフレッシュします。
カスタムOAuth アプリケーションの作成やその他の認証方法については、 href="/kb/help/" target="_blank">ヘルプドキュメントの「はじめに」をご確認ください。
- 「Save & Test」をクリックします
- 「Permissions」タブに移動し、ユーザーベースの権限を更新します。
パーソナルアクセストークン（PAT）を生成する
Python SDK は、アカウントのメールアドレスとパーソナルアクセストークン（PAT）を使って Connect AI に認証します。アクセスの粒度を保つために、アプリケーションごとに個別の PAT を作成することをおすすめします。
- Connect AI アプリの右上にある歯車アイコン（）をクリックして、設定ページを開きます。
- 設定ページの Access Tokens セクションに移動し、 Create PAT をクリックします。
- PAT に名前を付けて Create をクリックします。
- パーソナルアクセストークンは作成時にのみ表示されます。必ずコピーして安全な場所に保管してください。
必要なモジュールをインストールする方法は？
pip ユーティリティを使って、SDK と petl フレームワークをインストールします。
pip install cdata-connect-ai pip install petl
Python で SAP SuccessFactors のデータの ETL アプリを構築する方法は？
必要なモジュールをインストールしたら、ETL アプリを構築する準備は完了です。以下にコードスニペットを紹介しますが、完全なソースコードは記事の末尾に掲載しています。
まずモジュールをインポートし、アカウントのメールアドレスと PAT で Connect AI に接続します。
import petl as etl
import cdata_connect_ai
conn = cdata_connect_ai.connect(
username="[email protected]",
password="<your_pat>",
)
SAP SuccessFactors をクエリする SQL ステートメントを作成する方法は？
SQL を使って、SAP SuccessFactors をクエリするステートメントを作成します。この記事では、ExtAddressInfo エンティティからデータを読み取ります。識別子は <Connection>.<Schema>.<Table> という3つの部分で構成されており、接続名はデフォルトでソース名（例：SAPSuccessFactors1）になります。
sql = (
"SELECT address1, zipCode "
"FROM [SAPSuccessFactors1].[SAPSuccessFactors].[ExtAddressInfo] "
"WHERE city = 'Springfield'"
)
SAP SuccessFactors のデータの抽出・変換・ロードを実装する方法は？
接続とクエリが準備できたら、petl を使ってSAP SuccessFactors のデータを抽出・変換・ロードします。この例では、SAP SuccessFactors のデータを抽出し、zipCode カラムでデータを並べ替えて、CSV ファイルにロードします。
table1 = etl.fromdb(conn, sql) table2 = etl.sort(table1, 'zipCode') etl.tocsv(table2, 'extaddressinfo_data.csv')
新しい行を SAP SuccessFactors に書き戻す方法は？
SAP SuccessFactors が書き込みに対応している場合は、バッチ INSERT で行を書き戻せます。SDK の executemany は、@name のプレースホルダーと、1行につき1つのパラメータ辞書のリストを受け取ります。
cur = conn.cursor()
cur.executemany(
"INSERT INTO [SAPSuccessFactors1].[SAPSuccessFactors].[ExtAddressInfo] (address1, zipCode) "
"VALUES (@val1, @val2)",
[
{"@val1": "New value 1", "@val2": "New value 1"},
{"@val1": "New value 2", "@val2": "New value 2"},
],
)
print(f"Rows inserted: {cur.rowcount}")
conn.close()
注意：書き込み可能なソースであっても、読み取り専用の PAT や接続権限では書き込み操作は拒否されます。
CData Connect AI Python SDK を使えば、petl のような ETL パッケージでのデータへの直接アクセスも含め、通常のデータベースと同じようにSAP SuccessFactors のデータを扱えます。
関連情報と無料トライアル
これで、CData Connect AI Python SDK を使って、petl でリアルタイムのSAP SuccessFactors のデータをパイプライン処理できるようになりました。SAP SuccessFactors（および数百種類のその他のデータソース）への接続について詳しくは、Connect AI のページをご覧ください。
CData Connect AI の詳細、または無料トライアルにお申し込みください：
完全なソースコード
import petl as etl
import cdata_connect_ai
conn = cdata_connect_ai.connect(
username="[email protected]",
password="<your_pat>",
)
sql = (
"SELECT address1, zipCode "
"FROM [SAPSuccessFactors1].[SAPSuccessFactors].[ExtAddressInfo] "
"WHERE city = 'Springfield'"
)
table1 = etl.fromdb(conn, sql)
table2 = etl.sort(table1, 'zipCode')
etl.tocsv(table2, 'extaddressinfo_data.csv')
cur = conn.cursor()
cur.executemany(
"INSERT INTO [SAPSuccessFactors1].[SAPSuccessFactors].[ExtAddressInfo] (address1, zipCode) "
"VALUES (@val1, @val2)",
[
{"@val1": "New value 1", "@val2": "New value 1"},
{"@val1": "New value 2", "@val2": "New value 2"},
],
)
print(f"Rows inserted: {cur.rowcount}")
conn.close()