HeidiSQL で MySQL 経由でApache Airflow のデータにアクセス
HeidiSQL は、MariaDB、MySQL、SQL Server、PostgreSQL をネイティブでサポートするオープンソースのデータベース管理ツールです。 CData API Driver for ODBC と SQL Gateway を組み合わせることで、HeidiSQL からリアルタイムのApache Airflow データにもアクセスできるようになります。この記事では、オンプレミスの Apache Airflow に接続し、HeidiSQL でApache Airflow のデータをクエリする方法を解説します。
Apache Airflow のデータへの接続設定
まだ設定していない場合は、データソース名(DSN)で必要な接続プロパティを指定します。組み込みの Microsoft ODBC データソースアドミニストレーターを使用して DSN を設定できます。これはドライバーインストールの最終ステップでもあります。Microsoft ODBC データソースアドミニストレーターを使用して DSN を作成・設定する方法については、ヘルプドキュメントの「はじめに」の章をご参照ください。
まず、Profile 接続プロパティをディスク上の ApacheAirflow プロファイルの場所に設定します(例:C:\profiles\ApacheAirflow.apip)。次に、ProfileSettings 接続プロパティを ApacheAirflow の接続文字列に設定します(以下を参照)。
ApacheAirflow API プロファイル設定
Apache Airflow 3 では、API 認証に JWT Bearer トークンを使用します。トークンは、Airflow Web UI の「Settings」から生成するか、Airflow CLI の airflow users create と /api/v2/auth/token エンドポイントを使って生成できます。なお、このプロファイルは /api/v2 REST API を使用する Apache Airflow 3.x を対象としています。Airflow 2.x で使われていた従来の /api/v1 エンドポイントには対応していません。
以下の接続プロパティを設定すると、接続できるようになります。
- AuthScheme:APIKey に設定します。
- APIKey:Apache Airflow の JWT Bearer トークンに設定します。
- Server:Airflow インスタンスのベース URL に設定します(例:http://localhost:8080)。
DSN を設定する際には、Max Rows 接続プロパティも設定することをお勧めします。これにより返される行数が制限され、レポートやビジュアライゼーションの設計時にパフォーマンスを向上させるのに役立ちます。
SQL Gateway の設定
SQL Gateway 概要を参照して、Apache Airflow のデータを仮想 MySQL データベースとして接続できるよう設定します。クライアントからの MySQL リクエストを受け付ける MySQL リモーティングサービスを設定します。このサービスは SQL Gateway の UI で設定できます。
HeidiSQL から SQL Gateway に接続するには、Web に公開されたマシンで SQL Gateway を実行する必要があります。SQL Gateway を設定したら、以下の情報を控えておいてください:
- SQL Gateway をホストしているマシンの IP アドレスまたはドメイン名
- MySQL サービスのデータソース名(通常は CData API Sys)
- MySQL サービスのポート番号
- サービスにアクセス権を持つ SQL Gateway ユーザーの資格情報
リモートアクセスの設定
ODBC ドライバーとリモーティングサービスがオンプレミスにインストールされている場合(HeidiSQL からアクセスできない場合)、リバース SSH トンネリング機能を使用してリモートアクセスを有効にできます。詳細な手順については、ナレッジベース記事「SQL Gateway SSH トンネリング機能」をご参照ください。
HeidiSQL でApache Airflow に接続
CData API Driver for ODBC 用の MySQL サービスを設定したら、HeidiSQL でデータに接続する準備が整います。HeidiSQL で新しい接続セッションを作成し、MySQL ライブラリタイプを選択します。
SQL Gateway で設定したApache Airflow 用 MySQL サービスの値を使用してデータセットを設定します(データベース名には必ず DSN を使用してください)。接続を検証して「Open」をクリックします。
HeidiSQL からApache Airflow をクエリ
- 左側のデータベース一覧で、先ほど設定したApache Airflow への接続を見つけます。
- 左側のデータベース一覧で、適切な接続を展開して、Apache Airflow 内の個々のテーブルやデータオブジェクトを表示します。
- これらのテーブルに対してカスタム SQL クエリを記述し、データソースを通常の SQL Server データベースのように扱います。または、関連するテーブルを選択して各テーブルデータセットを視覚的に探索できます。
CData API Driver for ODBC と SQL Gateway を使用することで、HeidiSQL からApache Airflow のデータを簡単にクエリできます。HeidiSQL からオンプレミスのデータにアクセスする必要がある場合など、ご質問がありましたらサポートチームまでお問い合わせください。