MySQL のFederated Table としてApache Airflow のデータを連携利用する

SQL Gateway を使って、MySQL リモーティングサービスを作成し、Apache Airflow のMySQL Federated Table を構築できます。CData ODBC Driver for API のMySQL インターフェースのdeamon になります。サービス起動後、MySQL のFEDERATED ストレージエンジンを使ってサーバーおよびテーブルを作成します。Apache Airflow のデータ をMySQL テーブルのように使いましょう。

Apache Airflow のデータへの接続

まだ設定していない場合は、データソース名（DSN）に必要な接続プロパティの値を指定します。DSN の設定には、Microsoft ODBC Data Source Administrator を使用できます。これはドライバーインストールの最終手順でもあります。Microsoft ODBC Data Source Administrator を使ったDSN の作成・設定方法については、ヘルプドキュメントの「Getting Started」の章を参照してください。

まず、Profile 接続プロパティをディスク上の ApacheAirflow プロファイルの場所に設定します（例：C:\profiles\ApacheAirflow.apip）。次に、ProfileSettings 接続プロパティを ApacheAirflow の接続文字列に設定します（以下を参照）。

ApacheAirflow API プロファイル設定

Apache Airflow 3 では、API 認証に JWT Bearer トークンを使用します。トークンは、Airflow Web UI の「Settings」から生成するか、Airflow CLI の airflow users create と /api/v2/auth/token エンドポイントを使って生成できます。なお、このプロファイルは /api/v2 REST API を使用する Apache Airflow 3.x を対象としています。Airflow 2.x で使われていた従来の /api/v1 エンドポイントには対応していません。

以下の接続プロパティを設定すると、接続できるようになります。

• AuthScheme：APIKey に設定します。
• APIKey：Apache Airflow の JWT Bearer トークンに設定します。
• Server：Airflow インスタンスのベース URL に設定します（例：http://localhost:8080）。

SQL Gateway の設定

Apache Airflow のデータを仮想的なMySQL データベースとして利用できるように接続を設定するには、SQL Gateway の概要を参照してください。クライアントからのMySQL リクエストを受け付けるMySQL リモーティングサービスを設定します。このサービスは、SQL Gateway のUI で設定できます。

Apache Airflow データのFEDERATED サーバーおよびテーブルを作成

サービスの設定と起動が完了したら、FEDERATED サーバーを作成しましょう。これにより、FEDERATED テーブルの作成が簡単になります。

FEDERATED サーバーの作成

以下のステートメントでは、ODBC Driver for API を基にしたFEDERATED サーバーを作成します。FEDERATED サーバーのユーザー名とパスワードは、SQL Gateway のUsers タブで定義したユーザーアカウントと一致させる必要があります。

CREATE SERVER fedAPI
FOREIGN DATA WRAPPER mysql
OPTIONS (USER 'sql_gateway_user', PASSWORD 'sql_gateway_passwd', HOST 'sql_gateway_host', PORT ####, DATABASE 'CData API Sys');

FEDERATED テーブルの作成

先ほど作成したサーバーを使ってFEDERATED テーブルを作成するには、CONNECTION キーワードを使い、FEDERATED サーバーの名前とリモートテーブル（DagRuns）を指定します。FEDERATED テーブルを作成するステートメントは、以下のテンプレートを参考にしてください。

CREATE TABLE fed_dagruns (
  ...,
  dagrunid  TYPE(LEN),
  state  TYPE(LEN),
  ...,
)
ENGINE=FEDERATED
DEFAULT CHARSET=latin1
CONNECTION='fedAPI/dagruns';

注：FEDERATED テーブルのテーブルスキーマは、リモートテーブルのスキーマと完全に一致させる必要があります。任意のMySQL クライアントを使ってMySQL リモーティングサービスに直接接続し、SHOW CREATE TABLE クエリを実行すれば、テーブルスキーマを取得できます。

クエリの実行

これで、MySQL に接続できる任意のツールからApache Airflow のFEDERATED テーブルに対してクエリを実行できるようになりました。ローカルテーブルのデータとApache Airflow のデータをJOIN したい場合には、特に便利です。以下の例を参考にしてください。

SELECT
  fed_dagruns.dagrunid,
  local_table.custom_field
FROM
  local_table
JOIN
  fed_dagruns
ON
  local_table.foreign_dagrunid = fed_dagruns.dagrunid;