Dataiku からリアルタイム RabbitMQ データを使って AI/ML モデルを構築

Dibyendu Datta
Dibyendu Datta
Lead Technology Evangelist
CData API Driver for JDBC を使って RabbitMQ データを Dataiku に接続。



Dataiku は、データの準備、分析、可視化、AI/ML モデルのデプロイメントに利用されるデータサイエンスおよび機械学習プラットフォームです。チームでの協業と効率的なデータドリブンな意思決定を可能にします。CData API Driver for JDBC と組み合わせることで、Dataiku は RabbitMQ のデータ のデータ連携、データ準備、リアルタイム分析、そして信頼性の高いモデルデプロイメントをさらに強化します。

CData JDBC Driver は、最適化されたデータ処理機能を内蔵しており、リアルタイム RabbitMQ のデータ とのやり取りにおいて比類のないパフォーマンスを発揮します。複雑な SQL クエリを RabbitMQ に発行すると、ドライバーはフィルタや集計などのサポートされている SQL 操作を RabbitMQ に直接プッシュし、サポートされていない操作（多くの場合、SQL 関数や JOIN 操作）は内蔵の SQL エンジンを使用してクライアント側で処理します。動的メタデータクエリ機能が組み込まれているため、ネイティブのデータ型を使って RabbitMQ のデータ を操作・分析できます。

この記事では、Dataiku DSS（Data Science Studio）プラットフォームで CData API Driver for JDBC を使って RabbitMQ に簡単に連携する方法を紹介します。データの準備やカスタム AI/ML モデルの構築を行いましょう。

Dataiku DSS 環境の準備

このセクションでは、先に紹介した Dataiku を RabbitMQ のデータ 向けにセットアップする方法を説明します。事前に、お使いのオペレーティングシステムに対応した Dataiku DSS（オンプレミス版）をインストールしておいてください。

CData API Driver for JDBC のインストール

まず、Dataiku と同じマシンに CData API Driver for JDBC をインストールします。JDBC Driver は以下のパスにインストールされます：

C:\Program Files\CData[product_name] 20xx\lib\cdata.jdbc.api.jar

Dataiku DSS での JDBC Driver 接続設定

Dataiku で CData JDBC Driver を使用するには、新しい SQL データベース接続を作成し、DSS の接続設定で JDBC Driver の JAR ファイルを追加する必要があります。

  1. Dataiku DSS プラットフォームにログインします。ブラウザでローカルに開きます（例：localhost:11200）。
  2. プラットフォームの右上にある Navigate to other sections of Dataiku メニューをクリックし、Administration を選択します。
  3. Connections タブを選択します。
  4. Connections 画面で New Connections ボタンをクリックします。
  5. スクロールして Other SQL databases を選択します。

  6. RabbitMQ に接続するための JDBC URL を生成します。jdbc:api: で始まり、その後にセミコロン区切りの接続文字列プロパティを続けます。

    RabbitMQ Management HTTP API について

    RabbitMQ は、複数のメッセージングプロトコルをサポートするオープンソースのメッセージブローカーです。RabbitMQ Management HTTP API は、RabbitMQ サーバーの管理データと監視データに HTTP 経由でアクセスする手段を提供します。この API では、仮想ホスト、エクスチェンジ、キュー、バインディング、コネクション、チャネル、コンシューマー、ユーザー、権限、ポリシー、クラスター全体の統計情報を取得できます。

    HTTP API を利用するには、RabbitMQ サーバーで Management プラグインを有効化する必要があります。デフォルトでは、管理インターフェースはポート 15672 でリッスンします。

    Basic 認証の設定

    RabbitMQ Management HTTP API は HTTP Basic 認証を使用します。RabbitMQ 管理ユーザーのユーザー名とパスワードを指定する必要があります。

    管理 API へのアクセスを有効にするには、以下のステップで進めます：

    1. サーバーで RabbitMQ Management プラグインが有効になっていることを確認します（rabbitmq-plugins enable rabbitmq_management）。
    2. 既存の管理ユーザーを使用するか、適切な管理タグ（management、policymaker、monitoring、または administrator）を持つユーザーを作成します。
    3. RabbitMQ Management HTTP API の完全なベース URL を控えておきます（例：http://localhost:15672）。

    RabbitMQ サーバーを設定したら、以下の接続プロパティを設定して接続します：

    • AuthScheme：Basic に設定します。
    • URL：RabbitMQ Management HTTP API のベース URL に設定します（例：http://localhost:15672）。
    • User：RabbitMQ の管理ユーザー名に設定します（例：guest）。
    • Password：RabbitMQ の管理パスワードに設定します。

    接続文字列の例：

    Profile=C:\profiles\RabbitMQ.apip;AuthScheme=Basic;URL=http://localhost:15672;User=guest;Password=guest;

    利用可能なテーブル

    RabbitMQ プロファイルでは、以下のテーブルにアクセスできます：

    • Overview - クラスター全体の統計情報と RabbitMQ ノードに関する情報
    • Nodes - RabbitMQ クラスター内の個々のノードに関する情報
    • NodeMemory - 特定のクラスターノードの詳細なメモリ使用状況の内訳
    • Connections - ブローカーへのすべてのオープンな AMQP コネクションの一覧
    • Channels - すべてのコネクションにわたるオープンな AMQP チャネルの一覧
    • Consumers - すべてのキューに登録されたコンシューマーの一覧
    • Exchanges - すべての仮想ホストで宣言されたエクスチェンジの一覧
    • Queues - すべての仮想ホストで宣言されたキューの一覧
    • Bindings - エクスチェンジとキュー間のすべてのバインディングの一覧
    • VirtualHosts - ブローカーに設定された仮想ホストの一覧
    • VhostPermissions - 特定の仮想ホスト内のユーザー権限
    • Users - すべての RabbitMQ ユーザーの一覧
    • Permissions - すべての仮想ホストにわたる全ユーザーの権限レコード
    • TopicPermissions - 全ユーザーのトピックレベルの権限レコード
    • Policies - 仮想ホスト内のキューおよびエクスチェンジに適用されたポリシーの一覧
    • OperatorPolicies - 仮想ホスト内のキューに適用されたオペレーターポリシーの一覧
    • Parameters - 仮想ホストごとのコンポーネントパラメータ（例：federation、shovel）の一覧
    • GlobalParameters - すべての仮想ホストに適用されるグローバルパラメータの一覧
    • VhostLimits - 特定の仮想ホストに設定されたリソース制限
    • UserLimits - 特定のユーザーに設定されたリソース制限
    • FeatureFlags - フィーチャーフラグの一覧と、ノード上での有効／無効の状態
    • DeprecatedFeatures - 非推奨機能の一覧と、その使用状態
    • AuthAttempts - ノードの認証試行統計
    • ClusterName - RabbitMQ クラスターの名前
    • WhoAmI - 現在認証されている管理ユーザーに関する情報
    • ExchangeBindingsSource - 特定のエクスチェンジがソースとなっているバインディング
    • ExchangeBindingsDestination - 特定のエクスチェンジが宛先となっているバインディング
    • QueueBindings - 仮想ホスト内の特定のキューのバインディング

    組み込みの接続文字列デザイナー

    JDBC URL の作成には、RabbitMQ JDBC Driver に組み込まれている接続文字列デザイナーを使用できます。JAR ファイルをダブルクリックするか、コマンドラインから実行してください。

    java -jar cdata.jdbc.api.jar

    接続プロパティを入力し、接続文字列をクリップボードにコピーします。

    一般的な JDBC URL は次のようになります：

    jdbc:api:Profile=C:\profiles\\RabbitMQ.apip;AuthScheme=Basic;URL=http://localhost:15672;User=guest;Password=guest;
  7. New SQL database (JDBC) connection 画面で、New connection name フィールドに名前を入力し、基本パラメータを指定します：
    • JDBC Driver Class：cdata.jdbc.api.APIDriver
    • JDBC URL：前のステップで取得した JDBC 接続 URL
    • Driver jars directory：システム上で JAR ファイルがインストールされているフォルダパス

    次に、SQL dialect を選択します。ここでは「SQL Server」を選択しています。Create をクリックします。接続が成功すると、「Connection OK」というメッセージが表示されます。

  8. Data Catalog ウィンドウが表示されます。Connection to browse、Restrict to catalog、Restrict to schema ドロップダウンから目的の接続、カタログ、スキーマを選択し、List Tables をクリックします。Dataiku プラットフォームに必要なテーブルがすべて一覧表示されます。
  9. 一覧からテーブルを選択し、Preview をクリックしてテーブルデータを表示します。Close をクリックしてウィンドウを閉じます。

新しいプロジェクトの作成

Dataiku DSS プラットフォームでデータフローの準備、ダッシュボードの作成、RabbitMQ のデータ の分析、AI/ML モデルの構築を行うには、まず新しいプロジェクトを作成する必要があります。

  1. Navigate to other sections of Dataiku メニューから Projects を選択します。
  2. Projects 画面で New Project をクリックし、+ Blank Project を選択します。
  3. New Project ウィンドウで、Name と Project Key を入力します。Create をクリックすると、新しいプロジェクトのダッシュボードが開きます。
  4. プロジェクト画面上部のメニューから Notebooks を選択します。
  5. + Create Your First Notebook ドロップダウンメニューをクリックし、Write your own オプションを選択します。
  6. New Notebook ウィンドウで SQL を選択します。
  7. Connection ドロップダウンから必要な接続を選択し、Notebook Name フィールドに名前を入力します。

接続のテスト

RabbitMQ 接続をテストして RabbitMQ のデータ を分析するには、クエリコンパイラでクエリを記述し、Run をクリックします。クエリ結果やフィルタリングされた RabbitMQ のデータ の結果が画面に表示されます。

おわりに

CData API Driver for JDBC の 30日間無償トライアル をダウンロードして、Dataiku と連携し、RabbitMQ のデータ からカスタム AI/ML モデルを簡単に構築しましょう。

ご質問があれば、お気軽に サポートチーム までお問い合わせください。

はじめる準備はできましたか？

API Driver で RabbitMQ のライブデータに接続

RabbitMQ に接続

この記事の内容

関連記事