CloverDX（旧CloverETL）で Apache Airflow のデータ に接続

CData JDBC Driver for Apache Airflow を使用すると、CloverDX（旧CloverETL）のデータ変換コンポーネントで Apache Airflow をソースとして扱えます。この記事では、JDBC Driver for Apache Airflow を使用して、フラットファイルへのシンプルな転送を設定する方法を説明します。

JDBC データソースとして Apache Airflow に接続

1. Apache Airflow のデータ への接続を作成します。新規のCloverDX グラフで、Outline ペインの「Connections」ノードを右クリックし、「Connections」->「Create Connection」をクリックします。Database Connection ウィザードが表示されます。
2. プラスアイコンをクリックし、JAR からドライバーをロードします。インストールディレクトリのlib サブフォルダを参照し、cdata.jdbc.api.jar ファイルを選択します。
3. JDBC URL を入力します。

   まず、Profile 接続プロパティをディスク上の ApacheAirflow プロファイルの場所に設定します（例：C:\profiles\ApacheAirflow.apip）。次に、ProfileSettings 接続プロパティを ApacheAirflow の接続文字列に設定します（以下を参照）。

   ApacheAirflow API プロファイル設定

   Apache Airflow 3 では、API 認証に JWT Bearer トークンを使用します。トークンは、Airflow Web UI の「Settings」から生成するか、Airflow CLI の airflow users create と /api/v2/auth/token エンドポイントを使って生成できます。なお、このプロファイルは /api/v2 REST API を使用する Apache Airflow 3.x を対象としています。Airflow 2.x で使われていた従来の /api/v1 エンドポイントには対応していません。

   以下の接続プロパティを設定すると、接続できるようになります。

   • AuthScheme：APIKey に設定します。
   • APIKey：Apache Airflow の JWT Bearer トークンに設定します。
   • Server：Airflow インスタンスのベース URL に設定します（例：http://localhost:8080）。

   組み込みの接続文字列デザイナー

   JDBC URL の構築には、Apache Airflow JDBC Driver に組み込まれている接続文字列デザイナーを使用してください。JAR ファイルをダブルクリックするか、コマンドラインから実行します。

   
   java -jar cdata.jdbc.api.jar
   

   接続プロパティを入力し、接続文字列をクリップボードにコピーします。

   

   一般的なJDBC URL は次のようになります：

   jdbc:api:Profile=C:\profiles\ApacheAirflow.apip;AuthScheme=APIKey;ProfileSettings='APIKey=your_jwt_token;Server=http://localhost:8080';

DBInputTable コンポーネントで Apache Airflow のデータ をクエリ

1. Palette の「Readers」から「DBInputTable」をジョブフローにドラッグし、ダブルクリックして設定エディターを開きます。
2. 「DB connection」プロパティで、ドロップダウンメニューから Apache Airflow JDBC データソースを選択します。
3. SQL クエリを入力します。例：

   SELECT DagRunId, State FROM DagRuns WHERE DagId = 'example_dag'

クエリの出力をUniversalDataWriter に書き込む

1. 「Writers」から「UniversalDataWriter」をジョブフローにドラッグします。
2. UniversalDataWriter をダブルクリックして設定エディターを開き、ファイルURL を追加します。
3. DBInputTable を右クリックし、「Extract Metadata」をクリックします。
4. DBInputTable の出力ポートをUniversalDataWriter に接続します。
5. UniversalDataWriter の「Select Metadata」メニューで、DagRuns テーブルを選択します。（このメニューはUniversalDataWriter の入力ポートを右クリックしても開けます。）
6. 「Run」をクリックして、ファイルに書き込みます。