JayDeBeApi を使って Python からApache Airflow のデータにアクセス

Python と Java がインストールされている環境であれば、Python スクリプトと標準 SQL を使ってApache Airflow のデータにアクセスできます。CData API Driver for JDBC と JayDeBeApi モジュールを組み合わせることで、Python からリモートのApache Airflow のデータを操作できます。CData ドライバーを使用することで、業界標準に準拠した実績のあるドライバーを Python という人気の高い言語で活用できます。この記事では、ドライバーを使って Apache Airflow に SQL クエリを実行し、標準的な Python でApache Airflow のデータを可視化する方法を説明します。

JayDeBeApi モジュールを使用

JayDeBeApi は、JDBC（Java Database Connectivity）のブリッジとして機能する Python ライブラリで、Python プログラムから CData JDBC ドライバーを含む Java データベースとやり取りできるようになります。pip install コマンドでモジュールをインストールします。

pip install JayDeBeApi

JDBC URL を作成

JayDeBeApi をインストールしたら、SQL を使って Python からApache Airflow のデータを操作する準備が整います。

まず、Profile 接続プロパティをディスク上の ApacheAirflow プロファイルの場所に設定します（例：C:\profiles\ApacheAirflow.apip）。次に、ProfileSettings 接続プロパティを ApacheAirflow の接続文字列に設定します（以下を参照）。

ApacheAirflow API プロファイル設定

Apache Airflow 3 では、API 認証に JWT Bearer トークンを使用します。トークンは、Airflow Web UI の「Settings」から生成するか、Airflow CLI の airflow users create と /api/v2/auth/token エンドポイントを使って生成できます。なお、このプロファイルは /api/v2 REST API を使用する Apache Airflow 3.x を対象としています。Airflow 2.x で使われていた従来の /api/v1 エンドポイントには対応していません。

以下の接続プロパティを設定すると、接続できるようになります。

• AuthScheme：APIKey に設定します。
• APIKey：Apache Airflow の JWT Bearer トークンに設定します。
• Server：Airflow インスタンスのベース URL に設定します（例：http://localhost:8080）。

ビルトイン接続文字列デザイナー

JDBC URL の作成には、Apache Airflow JDBC Driver に組み込まれている接続文字列デザイナーを使用してください。JAR ファイルをダブルクリックするか、コマンドラインから実行します。

java -jar cdata.jdbc.api.jar

接続プロパティを入力し、接続文字列をクリップボードにコピーします。

以下は、一般的な JDBC 接続文字列を含む変数の例です。

jdbc_url = "jdbc:api:Profile=C:\profiles\ApacheAirflow.apip;AuthScheme=APIKey;ProfileSettings='APIKey=your_jwt_token;Server=http://localhost:8080';"

Python からApache Airflow のデータにアクセス

JDBC URL を設定したら、あとは JDBC ドライバーの JAR ファイルへの絶対パスだけが必要です。これはインストールディレクトリの "lib" フォルダにあります（Windows では "C:\Program Files\CData\CData API Driver for JDBC 20XX\lib\cdata.jdbc.api.jar"）。

注意: まだ設定していない場合は、JAVA_HOME 環境変数を Java のインストールディレクトリに設定してください。

以下のようなコードで Apache Airflow からデータを読み取り、表示できます。

import jaydebeapi

#The JDBC connection string
jdbc_url = "jdbc:api:Profile=C:\profiles\ApacheAirflow.apip;AuthScheme=APIKey;ProfileSettings='APIKey=your_jwt_token;Server=http://localhost:8080';"

username = "****"
password = "****"

#The absolute Path to the JDBC driver JAR file, typically:
jdbc_driver_jar = "C:\Program Files\CData\CData API Driver for JDBC 20XX\lib\cdata.jdbc.api.jar"

conn = jaydebeapi.connect(
   "cdata.jdbc.api.APIDriver",
   jdbc_url,
   [username, password],
   jdbc_driver_jar,
)

cursor = conn.cursor()
cursor.execute("SELECT * FROM DagRuns;")


results = cursor.fetchall()
for row in results:
    print(row)

cursor.close()
conn.close()

無料トライアルと詳細情報

CData API Driver for JDBC の 30 日間無料トライアルをダウンロードして、Python でリアルタイムのApache Airflow のデータを操作してみてください。ご不明な点がございましたら、サポートチームまでお問い合わせください。