HULFT Integrate で Apache Airflow のデータ に接続

Jerod Johnson
Jerod Johnson
Director, Technology Evangelism
HULFT Integrate で Apache Airflow に JDBC データソースとして接続

HULFT Integrate は、ドラッグ＆ドロップのユーザーインターフェースでコーポレーションフロー、データ変換、処理を簡単に作成できる最新のデータ連携プラットフォームです。CData API Driver for JDBC と組み合わせることで、HULFT Integrate からリアルタイムの Apache Airflow のデータ を扱うことができます。この記事では、Apache Airflow への接続方法と、データを CSV ファイルに出力する手順をご紹介します。

CData JDBC ドライバーは、最適化されたデータ処理機能を備えており、リアルタイムの Apache Airflow のデータ との連携において比類のないパフォーマンスを発揮します。Apache Airflow に対して複雑な SQL クエリを発行すると、ドライバーはフィルタや集計などのサポートされている SQL 操作を直接 Apache Airflow にプッシュし、サポートされていない操作（主に SQL 関数や JOIN 操作）は内蔵の SQL エンジンでクライアント側で処理します。また、動的なメタデータクエリ機能により、ネイティブなデータ型を使用して Apache Airflow のデータ を操作・分析できます。

Apache Airflow へのアクセスを有効化

HULFT Integrate プロジェクトから Apache Airflow のデータ へのアクセスを有効にするには、以下の手順で設定します：

  1. CData JDBC Driver の JAR ファイル（およびライセンスファイルがある場合はそれも）、cdata.jdbc.api.jar（および cdata.jdbc.api.lic）を、Integrate Server の jdbc_adapter サブフォルダにコピーします
  2. HULFT Integrate Server を再起動し、HULFT Integrate Studio を起動します

Apache Airflow のデータ にアクセスするプロジェクトの作成

JAR ファイルをコピーしたら、Apache Airflow のデータ にアクセスするプロジェクトを作成できます。まず、Integrate Studio を開いて新しいプロジェクトを作成しましょう。

  1. プロジェクト名を入力します
  2. 「スクリプトを作成」チェックボックスがオンになっていることを確認します
  3. 「次へ」をクリックします 新しいプロジェクトの作成
  4. スクリプト名を入力します（例：APItoCSV）

プロジェクトを作成したら、Apache Airflow のデータ を CSV ファイルにコピーするためのコンポーネントをスクリプトに追加します。

Execute Select SQL コンポーネントの設定

ツールパレット（Database -> JDBC）から「Execute Select SQL」コンポーネントをスクリプトワークスペースにドラッグします。

  1. 「必須設定」タブの接続先で、「追加」をクリックして Apache Airflow 用の新しい接続を作成します。以下のプロパティを設定します：
    • 名前：Apache Airflow Connection Settings
    • ドライバークラス名：cdata.jdbc.api.APIDriver
    • URL：jdbc:api:Profile=C:\profiles\ApacheAirflow.apip;AuthScheme=APIKey;ProfileSettings='APIKey=your_jwt_token;Server=http://localhost:8080';

      JDBC 接続設定（Salesforce の例）

      組み込みの接続文字列デザイナー

      JDBC URL の構築には、Apache Airflow JDBC Driver に組み込まれている接続文字列デザイナーをご利用ください。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行します。

      
		java -jar cdata.jdbc.api.jar

      接続プロパティを入力し、接続文字列をクリップボードにコピーします。

      まず、Profile 接続プロパティをディスク上の ApacheAirflow プロファイルの場所に設定します（例：C:\profiles\ApacheAirflow.apip）。次に、ProfileSettings 接続プロパティを ApacheAirflow の接続文字列に設定します（以下を参照）。

      ApacheAirflow API プロファイル設定

      Apache Airflow 3 では、API 認証に JWT Bearer トークンを使用します。トークンは、Airflow Web UI の「Settings」から生成するか、Airflow CLI の airflow users create と /api/v2/auth/token エンドポイントを使って生成できます。なお、このプロファイルは /api/v2 REST API を使用する Apache Airflow 3.x を対象としています。Airflow 2.x で使われていた従来の /api/v1 エンドポイントには対応していません。

      以下の接続プロパティを設定すると、接続できるようになります。

      • AuthScheme：APIKey に設定します。
      • APIKey：Apache Airflow の JWT Bearer トークンに設定します。
      • Server：Airflow インスタンスのベース URL に設定します（例：http://localhost:8080）。
      組み込みの接続文字列デザイナーで JDBC URL を生成（Salesforce の例）
  2. SQL ステートメントを記述します。例： 
    SELECT DagRunId, State FROM DagRuns
  3. 「抽出テスト」をクリックして、接続とクエリが正しく設定されていることを確認します
  4. 「SQL を実行して出力スキーマを設定」をクリックします
  5. 「完了」をクリックします Execute Select SQL 操作の設定

Write CSV File コンポーネントの設定

ツールパレット（File -> CSV）から「Write CSV File」コンポーネントをワークスペースにドラッグします。

  1. クエリ結果を書き込むファイルを設定します（例：DagRuns.csv）
  2. 「入力データ」を「Select SQL」コンポーネントに設定します
  3. SQL クエリで選択した各フィールドのカラムを追加します
  4. 「書き込み設定」タブで、「最初の行にカラム名を挿入する」チェックボックスをオンにします
  5. 「完了」をクリックします

Apache Airflow フィールドを CSV カラムにマッピング

「Select」コンポーネントの各カラムを、「CSV」コンポーネントの対応するカラムにマッピングします。

スクリプトの完成

「Start」コンポーネントを「Select」コンポーネントに、「CSV」コンポーネントを「End」コンポーネントにドラッグして接続します。スクリプトをビルドして実行すると、Apache Airflow のデータ が CSV ファイルに出力されます。

完成したスクリプト

CData API Driver for JDBCの30日間の無償トライアルをダウンロードして、HULFT Integrate でリアルタイムの Apache Airflow のデータ を活用してみてください。ご不明な点があれば、サポートチームまでお気軽にお問い合わせください。

はじめる準備はできましたか？

API Driver で Apache Airflow のライブデータに接続

Apache Airflow に接続

この記事の内容

関連記事