Remote Oracle Database としてApache Airflow のデータにアクセス
CData ODBC Driver for API を使って、ODBC 標準をサポートするあらゆるアプリケーションからデータに連携できます。Oracle Database Gateway for ODBC は、ODBC データソースにリモートOracle データベースとして連携接続できるようにするHeterogeneous Services agent （異種サービスエージェント）です。この記事では、CData ODBC Driver for API を使ってApache Airflow からOracle にデータベースリンクを作成する方法、およびSQL*Plus ツールを介してApache Airflow に連携してクエリする方法について説明します。SQL Developer からも、データベースリンクの作成およびクエリの実行ができます。
CData ODBC ドライバとは？
CData ODBC ドライバは、以下のような特徴を持ったリアルタイムデータ連携ソリューションです。
- Apache Airflow をはじめとする、CRM、MA、会計ツールなど多様なカテゴリの270種類以上のSaaS / オンプレミスデータソースに対応
- 多様なアプリケーション、ツールにApache Airflow のデータを連携
- ノーコードでの手軽な接続設定
- 標準 SQL での柔軟なデータ読み込み・書き込み
CData ODBC ドライバでは、1.データソースとしてApache Airflow の接続を設定、2.Oracle Database 側でODBC Driver との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。
CData ODBC ドライバのインストールとApache Airflow への接続設定
まずは、本記事右側のサイドバーからAPI ODBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。
Oracle ODBC Gateway 互換性のための接続プロパティ
ドライバーには複数の接続プロパティがあり、Oracle データベースと同じようにApache Airflow にアクセスできます。SQL*Plus およびSQL Developer のApache Airflow を扱う場合は、以下のプロパティを設定します。Oracle ODBC Gateway との互換性のため、認証およびその他の必要な接続プロパティに加えて、以下の接続プロパティを設定する必要があります。
MapToWVarchar=False
このプロパティをSQL_WVARCHAR の代わりにSQL_VARCHAR に設定して文字列データ型をマップします。さまざまなインターナショナルキャラクタセットに対応するため、ドライバーはデフォルトでSQL_WVARCHAR を使います。unicode タイプが返されたときに、このプロパティを使ってORA-28528 Heterogeneous Services データタイプ変換エラーを防ぐことができます。
MaximumColumnSize=4000
このプロパティを設定して、カラムの最大サイズを4000文字に制限します。Oracle Database Gateway では、文字列型はカラムの最大サイズが4000である必要があります。
UpperCaseIdentifiers=True
このプロパティで、識別子を引用しないようにし設定します。このプロパティを使って、大文字の識別子をOracle にレポートします。Oracle はデフォルトで識別子を大文字で格納するため、大文字の識別子を引用から避ける必要はありません。
IncludeDualTable=True
このプロパティを設定して、Oracle DUAL 表をモックします。SQL Developer はこのテーブルを使って接続をテストします。
Heterogeneous Service Agent の初期化
下記の手順に従ってODBC Gateway をApache Airflow のデータ に作成すると、リアルタイムApache Airflow にOracle データベースとしてクエリすることが可能になります。
- 接続プロパティの指定がまだの場合は、DSN （データソース名）で行います。Microsoft ODBC データソースアドミニストレーターを使ってODBC DSN を作成および設定できます。
まず、Profile 接続プロパティをディスク上の ApacheAirflow プロファイルの場所に設定します（例：C:\profiles\ApacheAirflow.apip）。次に、ProfileSettings 接続プロパティを ApacheAirflow の接続文字列に設定します（以下を参照）。
ApacheAirflow API プロファイル設定
Apache Airflow 3 では、API 認証に JWT Bearer トークンを使用します。トークンは、Airflow Web UI の「Settings」から生成するか、Airflow CLI の airflow users create と /api/v2/auth/token エンドポイントを使って生成できます。なお、このプロファイルは /api/v2 REST API を使用する Apache Airflow 3.x を対象としています。Airflow 2.x で使われていた従来の /api/v1 エンドポイントには対応していません。
以下の接続プロパティを設定すると、接続できるようになります。
- AuthScheme：APIKey に設定します。
- APIKey：Apache Airflow の JWT Bearer トークンに設定します。
- Server：Airflow インスタンスのベース URL に設定します（例：http://localhost:8080）。
Microsoft ODBC データソースアドミニストレーターで必要なプロパティを設定する方法は、ヘルプドキュメントの「はじめに」をご参照ください。
-
oracle-home-directory\hs\admin フォルダにinitmyapacheairflowdb.ora ファイルを作成し、以下の設定を追加します：
HS_FDS_CONNECT_INFO = "Your-API-DSN" -
oracle-home-directory\NETWORK\admin にあるlistener.ora ファイルに、次のアドレスを追加します:
SID_LIST_LISTENER = (SID_LIST = (SID_DESC = (SID_NAME = myapacheairflowdb) (ORACLE_HOME = your-oracle-home) (PROGRAM = dg4odbc) ) ) -
oracle-home-directory\NETWORK\admin にあるtnsnames.ora ファイルに、次の接続ディスクリプタを追加します:
myapacheairflowdb = (DESCRIPTION= (ADDRESS=(PROTOCOL=tcp)(HOST=localhost)(PORT=1521)) (CONNECT_DATA=(SID=myapacheairflowdb)) (HS=OK) ) 次のコマンドを使って設定をテストします：
tnsping myapacheairflowdb-
SQL*Plus を起動し、次のコマンドでデータベースリンクを作成します：
CREATE DATABASE LINK MYAPACHEAIRFLOWDB CONNECT TO "user" IDENTIFIED BY "password" USING 'myapacheairflowdb';
これで、SQL*Plus で次のようなクエリを実行できます：
SELECT * from DagRuns@myapacheairflowdb;
Apache Airflow からOracle Database へのデータ連携には、ぜひCData ODBC ドライバをご利用ください
このようにCData ODBC ドライバと併用することで、270を超えるSaaS、NoSQL データをコーディングなしで扱うことができます。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。
CData ODBC ドライバは日本のユーザー向けに、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。