Azure Synapse のデータをPythonのpandasで可視化する方法｜CData Connect AI
CData Connect AI Python SDKをpandasとMatplotlibに接続すると、パーソナルアクセストークンで認証するだけでリアルタイムのAzure Synapse のデータをDataFrameに読み込み、そのままグラフとして可視化できます。SQLAlchemyエンジンの設定やソースごとのドライバーインストールは不要です。
Python は豊富なモジュールのエコシステムを備えているため、素早く作業に取りかかり、システムをより効果的に連携できます。CData Connect AI Python SDK と pandas、Matplotlib のモジュールを使えば、Azure Synapse のデータを可視化する Azure Synapse 連携の Python アプリケーションやスクリプトを構築できます。この記事では、Connect AI に接続し、pandas と Matplotlib の組み込み関数を使ってAzure Synapse のデータをクエリし、その結果を可視化する方法をご紹介します。
Connect AI Python SDK（cdata-connect-ai）は DB-API 2.0（PEP 249）に準拠したクライアントなので、pandas は SDK の接続オブジェクトから直接クエリ結果を読み取れます。ソースごとにドライバーをインストールする必要も、SQLAlchemy のエンジンを設定する必要もありません。パーソナルアクセストークンで接続して、その接続をそのまま pandas.read_sql に渡すだけです。
Connect AI で Azure Synapse に接続する方法は？
CData Connect AI では、直感的なクリック操作ベースのインターフェースでデータソースに接続できます。
- Connect AI にログインし、Sources をクリックして、 Add Connection をクリックします
- 「Add Connection」パネルから「Azure Synapse」を選択します
-
Azure Synapse に接続するために必要な認証プロパティを入力します。
Azure Synapse への接続
Azure Synapse データベースに接続するには、認証に加えて（下記参照）、次のプロパティを設定します。
- Server：Azure を実行しているサーバー。Azure ポータルにログインして、［Azure Synapse Analytics］->［Select your database］->［Overview］->［Server name］に進むと確認できます。
- Database：［Azure Synapse Analytics］ページのAzure ポータルに表示されるデータベース名。
Azure Synapse への認証
Azure Synapse は、Entra ID（Azure AD）、Azure サービスプリンシパル、Managed Service Identity（MSI）、パスワード（デフォルト）、Azure Password を使用する認証をサポートします。
パスワードでAzure Synapse に直接認証するには、以下のプロパティを設定します。
- AuthScheme：Password
- User：認証するAzure Synapse ユーザー。
- Password：認証するAzure Synapse ユーザーのパスワード。
その他の認証方法については、ヘルプドキュメント の「はじめに」セクションを参照してください。
- 「Save & Test」をクリックします
- 「Permissions」タブに移動し、ユーザーベースの権限を更新します。
パーソナルアクセストークン（PAT）を生成する
Python SDK は、アカウントのメールアドレスとパーソナルアクセストークン（PAT）を使って Connect AI に認証します。アクセスの粒度を保つために、アプリケーションごとに個別の PAT を作成することをおすすめします。
- Connect AI アプリの右上にある歯車アイコン（）をクリックして、設定ページを開きます。
- 設定ページの Access Tokens セクションに移動し、 Create PAT をクリックします。
- PAT に名前を付けて Create をクリックします。
- パーソナルアクセストークンは作成時にのみ表示されます。必ずコピーして安全な場所に保管してください。
必要なモジュールをインストールする
pip ユーティリティを使って、SDK（pandas エクストラ付き）と Matplotlib をインストールします。
pip install "cdata-connect-ai[full]" pip install matplotlib
Python で Azure Synapse のデータを可視化する
モジュールをインポートし、アカウントのメールアドレスと PAT で Connect AI に接続します。識別子は <Connection>.<Schema>.<Table> という3つの部分で構成されており、接続名はデフォルトでソース名（例：AzureSynapse1）になります。
import pandas
import matplotlib.pyplot as plt
import cdata_connect_ai
conn = cdata_connect_ai.connect(
username="[email protected]",
password="<your_pat>",
)
pandas で Azure Synapse をクエリする
pandas の read_sql 関数を使って SQL ステートメントを実行し、結果セットを DataFrame に格納します。エンジンは不要で、SDK の接続をそのまま渡すだけです。
df = pandas.read_sql(
"SELECT Id, ProductName "
"FROM [AzureSynapse1].[AzureSynapse].[Products] "
"WHERE ProductName = 'Konbu'",
conn,
)
注意：pandas が、公式にサポートしているのは SQLAlchemy の接続のみであるという UserWarning を出力する場合があります。これは DB-API 接続を直接渡したときに想定される動作です。クエリは正しく実行されるため、この警告は無視して問題ありません。
Azure Synapse のデータを可視化する
クエリ結果を DataFrame に格納したら、plot 関数を使ってチャートを作成します。show メソッドを使うと、チャートが新しいウィンドウに表示されます。
df.plot(kind="bar", x="Id", y="ProductName") plt.show() conn.close()
関連情報と無料トライアル
これで、CData Connect AI Python SDK を通じて、リアルタイムのAzure Synapse のデータを pandas に読み込めるようになりました。Azure Synapse（および数百種類のその他のデータソース）への接続について詳しくは、Connect AI のページをご覧ください。
CData Connect AI の詳細、または無料トライアルにお申し込みください：
完全なソースコード
import pandas
import matplotlib.pyplot as plt
import cdata_connect_ai
conn = cdata_connect_ai.connect(
username="[email protected]",
password="<your_pat>",
)
df = pandas.read_sql(
"SELECT Id, ProductName "
"FROM [AzureSynapse1].[AzureSynapse].[Products] "
"WHERE ProductName = 'Konbu'",
conn,
)
df.plot(kind="bar", x="Id", y="ProductName")
plt.show()
conn.close()