Apache Airflow をSSIS 経由でSQL サーバーにバックアップする
Apache Airflow 用のCData ADO.NET プロバイダーはApache Airflow をバックアップ、レポート、フルテキスト検索、分析などを行うアプリケーションに接続します。
ここでは、SQL サーバー SSIS ワークフロー内でApache Airflow 用のプロバイダーを使用して、Apache Airflow をMicrosoft SQL サーバーデータベースに直接転送する方法を説明します。 以下のアウトラインと同じ手順を、CData ADO.NET データプロバイダーにて使用することで、SSIS 経由でSQL サーバーを直接リモートデータに接続できます。
- Visual Studio を開き、新しいIntegration サービスプロジェクトを追加します。
- ツールボックスからControl Flow 画面へ、新しいData Flow タスクを追加します。
Data Flow 画面で、ツールボックスから［ADO.NET Source］ と［OLE DB Destination］ を追加します。
- 新しい接続を追加し、Apache Airflow 2015 用の .NET プロバイダー\CData ADO.NET Provider for APIs 2015
Connection Manager で、Apache Airflow 用に接続の詳細を入力します。下は一般的な接続文字列です。
Profile=C:\profiles\ApacheAirflow.apip;AuthScheme=APIKey;ProfileSettings='APIKey=your_jwt_token;Server=http://localhost:8080';
まず、Profile 接続プロパティをディスク上の ApacheAirflow プロファイルの場所に設定します（例：C:\profiles\ApacheAirflow.apip）。次に、ProfileSettings 接続プロパティを ApacheAirflow の接続文字列に設定します（以下を参照）。
ApacheAirflow API プロファイル設定
Apache Airflow 3 では、API 認証に JWT Bearer トークンを使用します。トークンは、Airflow Web UI の「Settings」から生成するか、Airflow CLI の airflow users create と /api/v2/auth/token エンドポイントを使って生成できます。なお、このプロファイルは /api/v2 REST API を使用する Apache Airflow 3.x を対象としています。Airflow 2.x で使われていた従来の /api/v1 エンドポイントには対応していません。
以下の接続プロパティを設定すると、接続できるようになります。
- AuthScheme：APIKey に設定します。
- APIKey：Apache Airflow の JWT Bearer トークンに設定します。
- Server：Airflow インスタンスのベース URL に設定します（例：http://localhost:8080）。
DataReader editor を開き、次のインフォメーションを設定します。
- ADO.NET 接続マネージャー：Connection Manager のメニューで、先ほど作成した［Data Connection］ を選択します。
- データアクセスモード：［SQL command］ を選択します。
- SQL command テキスト：DataReader Source editor で、Component Properties タブを開き、下にあるようなSELECT command を入力します。
SELECT DagRunId, State FROM DagRuns WHERE DagId = 'example_dag'
- DataReader editor を閉じ、DataReader Source の下の矢印をドラッグして、OLE DB Destination に接続します。
OLE DB Destination を開き、Destination Component Editor で次のインフォメーションを入力します。
- コネクションマネージャー：新しい接続を追加します。接続するサーバーおよびデータベースの情報を入力します。ここでは、SQLExpress は他のマシンで運用中です。
- データアクセスモード：データアクセスモードを［table or view］ に設定し、データベースに入力するテーブルまたはビューを選択します。
Mappings 画面で必要なプロパティを設定します。
- OLE DB Destination Editor を閉じ、プロジェクトを始動します。SSIS タスクの実行が完了すれば、 Apache Airflow から取得したデータが、データベースに入力されます。