ODBC 経由で R から Apache Airflow のデータ を分析

Jerod Johnson
Jerod Johnson
Director, Technology Evangelism
Microsoft R Open で Apache Airflow のデータ のデータビジュアライゼーションを作成し、高性能な統計関数で分析。

純粋な R スクリプトと標準 SQL で Apache Airflow のデータ にアクセスできます。CData ODBC ドライバ for Apache Airflow と RODBC パッケージを使用すると、R からリモート Apache Airflow のデータ を操作できます。CData ドライバを使用することで、業界で実績のある標準に準拠したドライバを活用し、人気のオープンソース言語 R でデータにアクセスできます。この記事では、ドライバを使用して Apache Airflow のデータ に SQL クエリを実行し、R で Apache Airflow のデータ を可視化する方法を説明します。

R をインストール

マルチスレッドや管理コードによるドライバのパフォーマンス向上は、マルチスレッド対応の Microsoft R Open や、BLAS/LAPACK ライブラリにリンクした R を実行することで補完できます。この記事では Microsoft R Open（MRO）を使用します。

Apache Airflow にODBC データソースとして接続

Apache Airflow への接続情報と、Windows および Linux 環境での DSN 設定手順を説明します。

まず、Profile 接続プロパティをディスク上の ApacheAirflow プロファイルの場所に設定します（例：C:\profiles\ApacheAirflow.apip）。次に、ProfileSettings 接続プロパティを ApacheAirflow の接続文字列に設定します（以下を参照）。

ApacheAirflow API プロファイル設定

Apache Airflow 3 では、API 認証に JWT Bearer トークンを使用します。トークンは、Airflow Web UI の「Settings」から生成するか、Airflow CLI の airflow users create と /api/v2/auth/token エンドポイントを使って生成できます。なお、このプロファイルは /api/v2 REST API を使用する Apache Airflow 3.x を対象としています。Airflow 2.x で使われていた従来の /api/v1 エンドポイントには対応していません。

以下の接続プロパティを設定すると、接続できるようになります。

  • AuthScheme：APIKey に設定します。
  • APIKey：Apache Airflow の JWT Bearer トークンに設定します。
  • Server：Airflow インスタンスのベース URL に設定します（例：http://localhost:8080）。

DSN を設定する際に、Max Rows 接続プロパティも設定することをお勧めします。これにより返される行数が制限され、レポートやビジュアライゼーションの設計時のパフォーマンス向上に役立ちます。

Windows

まだ設定していない場合は、ODBC DSN（データソース名）で接続プロパティを指定します。これはドライバーインストールの最後のステップです。Microsoft ODBC データソースアドミニストレーターを使用して、ODBC DSN を作成・設定できます。

Linux

Linux 環境で CData ODBC Driver for Apache Airflow をインストールする場合、ドライバーのインストール時にシステム DSN が事前定義されます。システムデータソースファイル（/etc/odbc.ini）を編集して、必要な接続プロパティを定義することで DSN を変更できます。

/etc/odbc.ini


[CData API Source]
Driver = CData ODBC Driver for Apache Airflow
Description = My Description
Profile = C:\profiles\ApacheAirflow.apip
AuthScheme = APIKey
ProfileSettings = 'APIKey = your_jwt_token
Server = http://localhost:8080'

これらの設定ファイルの使用方法の詳細については、ヘルプドキュメント（インストール済みまたはオンライン）を参照してください。

RODBC パッケージを読み込む

ドライバを使用するには、RODBC パッケージをダウンロードします。RStudio で、［ツール］ -> ［パッケージのインストール］をクリックし、［パッケージ］ボックスに RODBC と入力します。

RODBC パッケージをインストールした後、以下の行でパッケージを読み込みます。 


library(RODBC)

注意：この記事では RODBC バージョン 1.3-12 を使用しています。Microsoft R Open を使用すると、Microsoft の MRAN リポジトリのチェックポイント機能を使用して同じバージョンでテストできます。 checkpoint コマンドを使用すると、MRAN リポジトリでホストされている CRAN リポジトリのスナップショットからパッケージをインストールできます。2016年1月1日のスナップショットにはバージョン 1.3-12 が含まれています。 


library(checkpoint)
checkpoint("2016-01-01")

Apache Airflow のデータ にODBC データソースとして接続

以下の行で R から DSN に接続できます。 


conn <- odbcConnect("CData API Source")

スキーマの検出

ドライバは Apache Airflow API をリレーショナルテーブル、ビュー、ストアドプロシージャとしてモデル化します。以下の行でテーブルの一覧を取得できます。 


sqlTables(conn)

SQL クエリを実行

sqlQuery 関数を使用して、Apache Airflow API でサポートされている任意の SQL クエリを実行できます。 


dagruns <- sqlQuery(conn, "SELECT DagRunId, State FROM DagRuns WHERE DagId = 'example_dag'", believeNRows=FALSE, rows_at_time=1)

以下のコマンドでデータビューアウィンドウに結果を表示できます。 


View(dagruns)

Apache Airflow のデータ をプロット

これで、CRAN リポジトリで利用可能なデータビジュアライゼーションパッケージを使用して Apache Airflow のデータ を分析できます。組み込みのバープロット関数を使用して、シンプルな棒グラフを作成できます。 


par(las=2,ps=10,mar=c(5,15,4,2))
barplot(dagruns$State, main="Apache Airflow DagRuns", names.arg = dagruns$DagRunId, horiz=TRUE)
基本的な棒グラフ（Salesforce の例）

はじめる準備はできましたか？

API Driver で Apache Airflow のライブデータに接続

Apache Airflow に接続

この記事の内容

関連記事