JDBI からApache Airflow データのデータアクセスオブジェクトを作成

加藤龍彦
加藤龍彦
デジタルマーケティング
JDBI でApache Airflow のデータ 用のSQL オブジェクトAPIを作成する方法を概説します。

JDBI は、Fluent スタイルとSQL オブジェクトスタイルという2つの異なるスタイルAPI を公開する、Java 用のSQL コンビニエンスライブラリです。CData JDBC Driver for API は、Java アプリケーションとリアルタイムApache Airflow のデータ のデータ連携を実現します。これらの技術を組み合わせることによって、Apache Airflow のデータ へのシンプルなコードアクセスが可能になります。ここでは、基本的なDAO(Data Access Object )とそれに付随するApache Airflow のデータ の読み書きのためのコードの作成について説明します。

Apache Airflow DagRuns Entity のDAO を作成

以下のインターフェースは、実装されるSQL ステートメントごとに単一のメソッドを作成するためのSQL オブジェクトの正しい動作を宣言します。


public interface MyDagRunsDAO {
  //request specific data from Apache Airflow (String type is used for simplicity)
  @SqlQuery("SELECT State FROM DagRuns WHERE DagId = :dagId")
  String findStateByDagId(@Bind("dagId") String dagId);

  /*
   * close with no args is used to close the connection
   */
  void close();
}

Apache Airflow への接続を開く

必要な接続プロパティを収集し、Apache Airflow に接続するための適切なJDBC URL を作成します。

まず、Profile 接続プロパティをディスク上の ApacheAirflow プロファイルの場所に設定します(例:C:\profiles\ApacheAirflow.apip)。次に、ProfileSettings 接続プロパティを ApacheAirflow の接続文字列に設定します(以下を参照)。

ApacheAirflow API プロファイル設定

Apache Airflow 3 では、API 認証に JWT Bearer トークンを使用します。トークンは、Airflow Web UI の「Settings」から生成するか、Airflow CLI の airflow users create と /api/v2/auth/token エンドポイントを使って生成できます。なお、このプロファイルは /api/v2 REST API を使用する Apache Airflow 3.x を対象としています。Airflow 2.x で使われていた従来の /api/v1 エンドポイントには対応していません。

以下の接続プロパティを設定すると、接続できるようになります。

  • AuthScheme:APIKey に設定します。
  • APIKey:Apache Airflow の JWT Bearer トークンに設定します。
  • Server:Airflow インスタンスのベース URL に設定します(例:http://localhost:8080)。

ビルトイン接続文字列デザイナー

JDBC URL の構成については、Apache Airflow JDBC Driver に組み込まれている接続文字列デザイナーを使用してください。JAR ファイルのダブルクリック、またはコマンドラインからJAR ファイルを実行します。


java -jar cdata.jdbc.api.jar

接続プロパティを入力し、接続文字列をクリップボードにコピーします。

Using the built-in connection string designer to generate a JDBC URL (Salesforce is shown.)

Apache Airflow の接続文字列は、通常次のようになります。

jdbc:api:Profile=C:\profiles\ApacheAirflow.apip;AuthScheme=APIKey;ProfileSettings='APIKey=your_jwt_token;Server=http://localhost:8080';

構成済みのJDBC URL を使用して、DAO インターフェースのインスタンスを取得します。以下に示す特定のメソッドはインスタンスにバインドされたハンドルを開くため、ハンドルとバインドされたJDBC 接続を開放するには、インスタンスを明示的に閉じる必要があります。


DBI dbi = new DBI("jdbc:api:Profile=C:\profiles\ApacheAirflow.apip;AuthScheme=APIKey;ProfileSettings='APIKey=your_jwt_token;Server=http://localhost:8080';");
MyDagRunsDAO dao = dbi.open(MyDagRunsDAO.class);

//do stuff with the DAO

dao.close();

Apache Airflow データについて

Apache Airflow への接続を開いた状態で以前定義したメソッドを呼び出すだけで、Apache Airflow のDagRuns エンティティからデータを取得できます。


//disply the result of our 'find' method
String state = dao.findStateByDagId("example_dag");
System.out.println(state);

JDBI ライブラリはJDBC 接続を処理できるため、CData JDBC Driver for API と統合することで、SQL Object API for API を簡単に作成できます。今すぐ無料トライアルをダウンロードし、Java アプリケーションでリアルタイムApache Airflow を操作しましょう。

はじめる準備はできましたか?

API Driver で Apache Airflow のライブデータに接続

Apache Airflow に接続