Apache Airflow で RabbitMQ データを連携

Apache Airflow は、データエンジニアリングワークフローの作成、スケジューリング、モニタリングをサポートするツールです。 CData API Driver for JDBC と組み合わせることで、Airflow からリアルタイムの RabbitMQ のデータ を扱うことができます。 この記事では、Apache Airflow インスタンスから RabbitMQ のデータ に接続してクエリを実行し、結果を CSV ファイルに保存する方法を説明します。

CData JDBC ドライバーは、最適化されたデータ処理機能を組み込んでおり、 リアルタイムの RabbitMQ のデータ を扱う際に比類のないパフォーマンスを発揮します。複雑な SQL クエリを RabbitMQ に発行すると、 ドライバーはフィルタや集計などのサポートされている SQL 操作を直接 RabbitMQ にプッシュし、 サポートされていない操作（主に SQL 関数や JOIN 操作）は組み込みの SQL エンジンを使用してクライアント側で処理します。 また、組み込みの動的メタデータクエリ機能により、ネイティブのデータ型を使用して RabbitMQ のデータ の操作・分析が可能です。

RabbitMQ への接続を設定

組み込みの接続文字列デザイナー

JDBC URL の構築には、RabbitMQ JDBC Driver に組み込まれている接続文字列デザイナーを使用できます。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行してください。

java -jar cdata.jdbc.api.jar

接続プロパティを入力し、接続文字列をクリップボードにコピーします。

RabbitMQ Management HTTP API について

RabbitMQ は、複数のメッセージングプロトコルをサポートするオープンソースのメッセージブローカーです。RabbitMQ Management HTTP API は、RabbitMQ サーバーの管理データと監視データに HTTP 経由でアクセスする手段を提供します。この API では、仮想ホスト、エクスチェンジ、キュー、バインディング、コネクション、チャネル、コンシューマー、ユーザー、権限、ポリシー、クラスター全体の統計情報を取得できます。

HTTP API を利用するには、RabbitMQ サーバーで Management プラグインを有効化する必要があります。デフォルトでは、管理インターフェースはポート 15672 でリッスンします。

Basic 認証の設定

RabbitMQ Management HTTP API は HTTP Basic 認証を使用します。RabbitMQ 管理ユーザーのユーザー名とパスワードを指定する必要があります。

管理 API へのアクセスを有効にするには、以下のステップで進めます：

1. サーバーで RabbitMQ Management プラグインが有効になっていることを確認します（rabbitmq-plugins enable rabbitmq_management）。
2. 既存の管理ユーザーを使用するか、適切な管理タグ（management、policymaker、monitoring、または administrator）を持つユーザーを作成します。
3. RabbitMQ Management HTTP API の完全なベース URL を控えておきます（例：http://localhost:15672）。

RabbitMQ サーバーを設定したら、以下の接続プロパティを設定して接続します：

• AuthScheme：Basic に設定します。
• URL：RabbitMQ Management HTTP API のベース URL に設定します（例：http://localhost:15672）。
• User：RabbitMQ の管理ユーザー名に設定します（例：guest）。
• Password：RabbitMQ の管理パスワードに設定します。

接続文字列の例：

Profile=C:\profiles\RabbitMQ.apip;AuthScheme=Basic;URL=http://localhost:15672;User=guest;Password=guest;

利用可能なテーブル

RabbitMQ プロファイルでは、以下のテーブルにアクセスできます：

• Overview - クラスター全体の統計情報と RabbitMQ ノードに関する情報
• Nodes - RabbitMQ クラスター内の個々のノードに関する情報
• NodeMemory - 特定のクラスターノードの詳細なメモリ使用状況の内訳
• Connections - ブローカーへのすべてのオープンな AMQP コネクションの一覧
• Channels - すべてのコネクションにわたるオープンな AMQP チャネルの一覧
• Consumers - すべてのキューに登録されたコンシューマーの一覧
• Exchanges - すべての仮想ホストで宣言されたエクスチェンジの一覧
• Queues - すべての仮想ホストで宣言されたキューの一覧
• Bindings - エクスチェンジとキュー間のすべてのバインディングの一覧
• VirtualHosts - ブローカーに設定された仮想ホストの一覧
• VhostPermissions - 特定の仮想ホスト内のユーザー権限
• Users - すべての RabbitMQ ユーザーの一覧
• Permissions - すべての仮想ホストにわたる全ユーザーの権限レコード
• TopicPermissions - 全ユーザーのトピックレベルの権限レコード
• Policies - 仮想ホスト内のキューおよびエクスチェンジに適用されたポリシーの一覧
• OperatorPolicies - 仮想ホスト内のキューに適用されたオペレーターポリシーの一覧
• Parameters - 仮想ホストごとのコンポーネントパラメータ（例：federation、shovel）の一覧
• GlobalParameters - すべての仮想ホストに適用されるグローバルパラメータの一覧
• VhostLimits - 特定の仮想ホストに設定されたリソース制限
• UserLimits - 特定のユーザーに設定されたリソース制限
• FeatureFlags - フィーチャーフラグの一覧と、ノード上での有効／無効の状態
• DeprecatedFeatures - 非推奨機能の一覧と、その使用状態
• AuthAttempts - ノードの認証試行統計
• ClusterName - RabbitMQ クラスターの名前
• WhoAmI - 現在認証されている管理ユーザーに関する情報
• ExchangeBindingsSource - 特定のエクスチェンジがソースとなっているバインディング
• ExchangeBindingsDestination - 特定のエクスチェンジが宛先となっているバインディング
• QueueBindings - 仮想ホスト内の特定のキューのバインディング

クラスター環境やクラウドで JDBC ドライバーをホストする場合は、ライセンス（製品版またはトライアル版）とランタイムキー（RTK）が必要です。ライセンス（またはトライアル）の取得については、弊社営業チームにお問い合わせください。

以下は、JDBC 接続に必要な主なプロパティです。

Airflow で JDBC 接続を設定

1. Apache Airflow インスタンスにログインします。
2. Airflow インスタンスのナビゲーションバーで、Admin にカーソルを合わせ、Connections をクリックします。
3. 次の画面で + ボタンをクリックして、新しい接続を作成します。
4. Add Connection フォームで、必要な接続プロパティを入力します：
   • Connection Id：接続の名前を入力します（例：api_jdbc）
   • Connection Type：JDBC Connection
   • Connection URL：上記の JDBC 接続 URL（例：jdbc:api:RTK=5246...;Profile=C:\profiles\\RabbitMQ.apip;AuthScheme=Basic;URL=http://localhost:15672;User=guest;Password=guest;)
   • Driver Class：cdata.jdbc.api.APIDriver
   • Driver Path：PATH/TO/cdata.jdbc.api.jar
   
5. フォーム下部の Test ボタンをクリックして、新しい接続をテストします。
6. 新しい接続を保存すると、次の画面で接続リストに新しい行が追加されたことを示す緑色のバナーが表示されます。

DAG の作成

Airflow の DAG は、ワークフローのプロセスを保存し、トリガーすることでワークフローを実行できるエンティティです。 ここでのワークフローは、RabbitMQ のデータ に対して SQL クエリを実行し、結果を CSV ファイルに保存するというシンプルなものです。

1. まず、ホームディレクトリに「airflow」フォルダがあるはずです。その中に「dags」という新しいディレクトリを作成します。 ここに Python ファイルを保存すると、UI 上で Airflow DAG として表示されます。
2. 次に、新しい Python ファイルを作成し、rabbitmq_hook.py という名前を付けます。このファイルに以下のコードを挿入してください：

   	import time
   	from datetime import datetime
   	from airflow.decorators import dag, task
   	from airflow.providers.jdbc.hooks.jdbc import JdbcHook
   	import pandas as pd
   
   	# DAG を宣言
   	@dag(dag_id="rabbitmq_hook", schedule_interval="0 10 * * *", start_date=datetime(2022,2,15), catchup=False, tags=['load_csv'])
   
   	# DAG 関数を定義
   	def extract_and_load():
   	# タスクを定義
   		@task()
   		def jdbc_extract():
   			try:
   				hook = JdbcHook(jdbc_conn_id="jdbc")
   				sql = """ select * from Account """
   				df = hook.get_pandas_df(sql)
   				df.to_csv("/{some_file_path}/{name_of_csv}.csv",header=False, index=False, quoting=1)
   				# print(df.head())
   				print(df)
   				tbl_dict = df.to_dict('dict')
   				return tbl_dict
   			except Exception as e:
   				print("Data extract error: " + str(e))
   
   		jdbc_extract()
   
   	sf_extract_and_load = extract_and_load()
   

3. このファイルを保存し、Airflow インスタンスを更新します。DAG のリストに「rabbitmq_hook」という新しい DAG が表示されるはずです。
4. この DAG をクリックし、次の画面で一時停止スイッチをクリックして青色にオンにします。次に、トリガー（再生）ボタンをクリックして DAG を実行します。これにより、rabbitmq_hook.py ファイル内の SQL クエリが実行され、コード内で指定したファイルパスに CSV として結果がエクスポートされます。
5. 新しい DAG をトリガーした後、Downloads フォルダ（または Python スクリプト内で指定した場所）を確認すると、CSV ファイルが作成されていることがわかります。この例では account.csv です。
6. CSV ファイルを開くと、Apache Airflow によって RabbitMQ のデータ が CSV 形式で利用可能になっていることを確認できます。

詳細情報と無料トライアル

CData API Driver for JDBC の30日間無料トライアルをダウンロードして、Apache Airflow でリアルタイムの RabbitMQ のデータ を活用してみてください。ご質問があれば、サポートチームまでお気軽にお問い合わせください。