Talend Cloud Data Management Platform で RabbitMQ のデータ を連携
Qlik 社の Talend Cloud Data Management Platform は多様なデータ環境をサポートし、スマートな意思決定のための分析、業務データの共有、データおよびアプリケーションのモダナイゼーション、リスク低減のためのデータエクセレンスの確立を実現します。CData API Driver for JDBC と組み合わせると、RabbitMQ のデータ のデータ連携、品質管理、ガバナンスを向上できます。この記事では、Talend Cloud Data Management で CData JDBC Driver を使用して RabbitMQ に接続し、ワークフロー内でデータを同時に利用できるようにする方法を説明します。
前提条件
CData JDBC Driver を使用して Talend Cloud Data Management Platform でデータを表示・操作する前に、システムに最新バージョンの Talend Studio をダウンロードしてインストールしてください。また、以下の前提条件を満たしていることを確認してください。
- 適切な権限を持つ Talend Cloud Data Management アカウント
- CData Web サイトからダウンロード可能な CData API Driver for JDBC
Talend で RabbitMQ に JDBC データソースとして接続
Talend Data Management Cloud へのアクセス
- ローカルシステムにインストールされている Talend Cloud Data Management Platform を起動し、Other Login Mode をクリックします。
- Manage Connections をクリックします。Repository を「Local」に設定し、Name、Description、User E-mail を入力します。Workspace のパスを設定して OK をクリックします。
- Create a new project ラジオボタンを選択して新しいプロジェクト名を追加し、Create をクリックします。
- 新しいプロジェクトが Select an existing project セクションに表示されます。Open をクリックします。Talend Cloud Data Management Platform ワークスペースが開きます。
新しい接続の作成
- ナビゲーションペインで Metadata ドロップダウンを展開します。Db Connections を右クリックし、Create Connection を選択します。
- Database Connection ウィンドウの Find セクションで「JDBC」を検索して選択します。次に、Finish をクリックします。
- RabbitMQ のデータ をロードする Talend の新しいデータベースの Name、Purpose、Description を入力します。Next をクリックします。
- RabbitMQ に接続するための JDBC URL を生成します。jdbc:api: で始まり、セミコロンで区切られた一連の接続文字列プロパティを続けます。
RabbitMQ Management HTTP API について
RabbitMQ は、複数のメッセージングプロトコルをサポートするオープンソースのメッセージブローカーです。RabbitMQ Management HTTP API は、RabbitMQ サーバーの管理データと監視データに HTTP 経由でアクセスする手段を提供します。この API では、仮想ホスト、エクスチェンジ、キュー、バインディング、コネクション、チャネル、コンシューマー、ユーザー、権限、ポリシー、クラスター全体の統計情報を取得できます。
HTTP API を利用するには、RabbitMQ サーバーで Management プラグインを有効化する必要があります。デフォルトでは、管理インターフェースはポート 15672 でリッスンします。
Basic 認証の設定
RabbitMQ Management HTTP API は HTTP Basic 認証を使用します。RabbitMQ 管理ユーザーのユーザー名とパスワードを指定する必要があります。
管理 API へのアクセスを有効にするには、以下のステップで進めます:
- サーバーで RabbitMQ Management プラグインが有効になっていることを確認します(rabbitmq-plugins enable rabbitmq_management)。
- 既存の管理ユーザーを使用するか、適切な管理タグ(management、policymaker、monitoring、または administrator)を持つユーザーを作成します。
- RabbitMQ Management HTTP API の完全なベース URL を控えておきます(例:http://localhost:15672)。
RabbitMQ サーバーを設定したら、以下の接続プロパティを設定して接続します:
- AuthScheme:Basic に設定します。
- URL:RabbitMQ Management HTTP API のベース URL に設定します(例:http://localhost:15672)。
- User:RabbitMQ の管理ユーザー名に設定します(例:guest)。
- Password:RabbitMQ の管理パスワードに設定します。
接続文字列の例:
Profile=C:\profiles\RabbitMQ.apip;AuthScheme=Basic;URL=http://localhost:15672;User=guest;Password=guest;
利用可能なテーブル
RabbitMQ プロファイルでは、以下のテーブルにアクセスできます:
- Overview - クラスター全体の統計情報と RabbitMQ ノードに関する情報
- Nodes - RabbitMQ クラスター内の個々のノードに関する情報
- NodeMemory - 特定のクラスターノードの詳細なメモリ使用状況の内訳
- Connections - ブローカーへのすべてのオープンな AMQP コネクションの一覧
- Channels - すべてのコネクションにわたるオープンな AMQP チャネルの一覧
- Consumers - すべてのキューに登録されたコンシューマーの一覧
- Exchanges - すべての仮想ホストで宣言されたエクスチェンジの一覧
- Queues - すべての仮想ホストで宣言されたキューの一覧
- Bindings - エクスチェンジとキュー間のすべてのバインディングの一覧
- VirtualHosts - ブローカーに設定された仮想ホストの一覧
- VhostPermissions - 特定の仮想ホスト内のユーザー権限
- Users - すべての RabbitMQ ユーザーの一覧
- Permissions - すべての仮想ホストにわたる全ユーザーの権限レコード
- TopicPermissions - 全ユーザーのトピックレベルの権限レコード
- Policies - 仮想ホスト内のキューおよびエクスチェンジに適用されたポリシーの一覧
- OperatorPolicies - 仮想ホスト内のキューに適用されたオペレーターポリシーの一覧
- Parameters - 仮想ホストごとのコンポーネントパラメータ(例:federation、shovel)の一覧
- GlobalParameters - すべての仮想ホストに適用されるグローバルパラメータの一覧
- VhostLimits - 特定の仮想ホストに設定されたリソース制限
- UserLimits - 特定のユーザーに設定されたリソース制限
- FeatureFlags - フィーチャーフラグの一覧と、ノード上での有効/無効の状態
- DeprecatedFeatures - 非推奨機能の一覧と、その使用状態
- AuthAttempts - ノードの認証試行統計
- ClusterName - RabbitMQ クラスターの名前
- WhoAmI - 現在認証されている管理ユーザーに関する情報
- ExchangeBindingsSource - 特定のエクスチェンジがソースとなっているバインディング
- ExchangeBindingsDestination - 特定のエクスチェンジが宛先となっているバインディング
- QueueBindings - 仮想ホスト内の特定のキューのバインディング
組み込みの接続文字列デザイナー
JDBC URL の構築には、RabbitMQ JDBC Driver に組み込まれている接続文字列デザイナーを使用してください。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行します。
java -jar cdata.jdbc.api.jar
接続プロパティを入力し、接続文字列をクリップボードにコピーします。
一般的な JDBC URL は次のようになります。
jdbc:api:Profile=C:\profiles\\RabbitMQ.apip;AuthScheme=Basic;URL=http://localhost:15672;User=guest;Password=guest;
CData API Driver for JDBC からコピーした JDBC URL を Edit new database に入力します。
- Drivers の下にある「(+) Add」ボタンをクリックします。Drivers ボードに「newLine」が表示されます。新しい行の末尾にある (...) をクリックし、Install a new module ラジオボタンを選択して、(...) をクリックしてインストールディレクトリの「lib」サブフォルダにある JAR ファイルへのパスを追加します。OK をクリックします。
- Driver Class として cdata.jdbc.api(前のステップで指定したインストールディレクトリから取得した JAR ファイル)を選択します。
新しい接続のテスト
- Check Connection をクリックします。入力した詳細が正しければ、「Connection successful」という確認プロンプトが表示されます。「OK」と「Finish」をクリックします。
- 接続が確立されたら、新しく作成した接続を右クリックし、Retrieve Schema を選択します。フィルターを使用して必要なデータを取得することもできます。Next をクリックします。
- Schema ウィンドウで「CData」カタログを展開し、RabbitMQ スキーマからインポートするテーブルを選択します。Next をクリックします。
- 次のステップで、テーブルから表示するカラムを選択し、Finish をクリックします。
- RabbitMQ スキーマから選択したすべてのテーブルが、JDBC 接続の Table Schemas セクションに表示されます。
- 選択したテーブルのいずれかを右クリックし、Data Viewer をクリックしてデータソースからのデータをプレビューします。
おわりに
CData API Driver for JDBC の30日間無償トライアルをダウンロードして、Talend Cloud Data Management Platform で RabbitMQ データを連携しましょう。ご不明な点があれば、サポートチームにお問い合わせください。