Python で pandas を使って RabbitMQ データを可視化する方法

Jerod Johnson
Jerod Johnson
Director, Technology Evangelism
pandas などのモジュールを使って Python で RabbitMQ のデータをリアルタイムに分析・可視化する方法を紹介します。



Python の豊富なエコシステムを活用することで、作業を迅速に開始し、システム間の連携をより効果的に行うことができます。CData API Driver for Python、pandas および Matplotlib モジュール、SQLAlchemy ツールキットを組み合わせることで、RabbitMQ に接続した Python アプリケーションやスクリプトを構築し、RabbitMQ のデータを可視化できます。この記事では、pandas、SQLAlchemy、Matplotlib の組み込み関数を使用して RabbitMQ のデータに接続し、クエリを実行して結果を可視化する方法を説明します。

CData Python Connector は、組み込みの最適化されたデータ処理機能により、Python での RabbitMQ のデータへのリアルタイムアクセスにおいて比類のないパフォーマンスを提供します。RabbitMQ に対して複雑な SQL クエリを発行すると、ドライバーはフィルタや集計などのサポートされている SQL 操作を RabbitMQ に直接プッシュし、サポートされていない操作（多くの場合、SQL 関数や JOIN 操作）は組み込みの SQL エンジンを使用してクライアント側で処理します。

RabbitMQ のデータへの接続

RabbitMQ のデータへの接続は、他のリレーショナルデータソースへの接続と同様です。必要な接続プロパティを使用して接続文字列を作成します。この記事では、接続文字列を create_engine 関数のパラメータとして渡します。

RabbitMQ Management HTTP API について

RabbitMQ は、複数のメッセージングプロトコルをサポートするオープンソースのメッセージブローカーです。RabbitMQ Management HTTP API は、RabbitMQ サーバーの管理データと監視データに HTTP 経由でアクセスする手段を提供します。この API では、仮想ホスト、エクスチェンジ、キュー、バインディング、コネクション、チャネル、コンシューマー、ユーザー、権限、ポリシー、クラスター全体の統計情報を取得できます。

HTTP API を利用するには、RabbitMQ サーバーで Management プラグインを有効化する必要があります。デフォルトでは、管理インターフェースはポート 15672 でリッスンします。

Basic 認証の設定

RabbitMQ Management HTTP API は HTTP Basic 認証を使用します。RabbitMQ 管理ユーザーのユーザー名とパスワードを指定する必要があります。

管理 API へのアクセスを有効にするには、以下のステップで進めます：

  1. サーバーで RabbitMQ Management プラグインが有効になっていることを確認します（rabbitmq-plugins enable rabbitmq_management）。
  2. 既存の管理ユーザーを使用するか、適切な管理タグ（management、policymaker、monitoring、または administrator）を持つユーザーを作成します。
  3. RabbitMQ Management HTTP API の完全なベース URL を控えておきます（例：http://localhost:15672）。

RabbitMQ サーバーを設定したら、以下の接続プロパティを設定して接続します：

  • AuthScheme：Basic に設定します。
  • URL：RabbitMQ Management HTTP API のベース URL に設定します（例：http://localhost:15672）。
  • User：RabbitMQ の管理ユーザー名に設定します（例：guest）。
  • Password：RabbitMQ の管理パスワードに設定します。

接続文字列の例：

Profile=C:\profiles\RabbitMQ.apip;AuthScheme=Basic;URL=http://localhost:15672;User=guest;Password=guest;

利用可能なテーブル

RabbitMQ プロファイルでは、以下のテーブルにアクセスできます：

  • Overview - クラスター全体の統計情報と RabbitMQ ノードに関する情報
  • Nodes - RabbitMQ クラスター内の個々のノードに関する情報
  • NodeMemory - 特定のクラスターノードの詳細なメモリ使用状況の内訳
  • Connections - ブローカーへのすべてのオープンな AMQP コネクションの一覧
  • Channels - すべてのコネクションにわたるオープンな AMQP チャネルの一覧
  • Consumers - すべてのキューに登録されたコンシューマーの一覧
  • Exchanges - すべての仮想ホストで宣言されたエクスチェンジの一覧
  • Queues - すべての仮想ホストで宣言されたキューの一覧
  • Bindings - エクスチェンジとキュー間のすべてのバインディングの一覧
  • VirtualHosts - ブローカーに設定された仮想ホストの一覧
  • VhostPermissions - 特定の仮想ホスト内のユーザー権限
  • Users - すべての RabbitMQ ユーザーの一覧
  • Permissions - すべての仮想ホストにわたる全ユーザーの権限レコード
  • TopicPermissions - 全ユーザーのトピックレベルの権限レコード
  • Policies - 仮想ホスト内のキューおよびエクスチェンジに適用されたポリシーの一覧
  • OperatorPolicies - 仮想ホスト内のキューに適用されたオペレーターポリシーの一覧
  • Parameters - 仮想ホストごとのコンポーネントパラメータ（例：federation、shovel）の一覧
  • GlobalParameters - すべての仮想ホストに適用されるグローバルパラメータの一覧
  • VhostLimits - 特定の仮想ホストに設定されたリソース制限
  • UserLimits - 特定のユーザーに設定されたリソース制限
  • FeatureFlags - フィーチャーフラグの一覧と、ノード上での有効／無効の状態
  • DeprecatedFeatures - 非推奨機能の一覧と、その使用状態
  • AuthAttempts - ノードの認証試行統計
  • ClusterName - RabbitMQ クラスターの名前
  • WhoAmI - 現在認証されている管理ユーザーに関する情報
  • ExchangeBindingsSource - 特定のエクスチェンジがソースとなっているバインディング
  • ExchangeBindingsDestination - 特定のエクスチェンジが宛先となっているバインディング
  • QueueBindings - 仮想ホスト内の特定のキューのバインディング

以下の手順に従って、必要なモジュールをインストールし、Python オブジェクトを介して RabbitMQ にアクセスしてみましょう。

必要なモジュールのインストール

pip ユーティリティを使用して、pandas、Matplotlib モジュール、および SQLAlchemy ツールキットをインストールします。

pip install pandas
pip install matplotlib
pip install sqlalchemy

以下のようにモジュールをインポートしてください。

import pandas
import matplotlib.pyplot as plt
from sqlalchemy import create_engine

Python で RabbitMQ のデータを可視化する

接続文字列を使用して接続できます。create_engine 関数を使用して、RabbitMQ のデータを操作するための Engine を作成します。 

engine = create_engine("api:///?Profile=C:\profiles\\RabbitMQ.apip&AuthScheme=Basic&URL=http://localhost:15672&User=guest&Password=guest")

RabbitMQ への SQL の実行

pandas の read_sql 関数を使用して、SQL ステートメントを実行し、結果セットを DataFrame に格納します。 

df = pandas.read_sql("SELECT ,  FROM AuthAttempts WHERE NodeName = 'rabbit@hostname'", engine)

RabbitMQ のデータの可視化

クエリ結果が DataFrame に格納されたら、plot 関数を使用して RabbitMQ のデータを表示するグラフを作成します。show メソッドで、グラフを新しいウィンドウに表示します。 

df.plot(kind="bar", x="", y="")
plt.show()

無料トライアル & 詳細情報

CData API Driver for Python の 30日間無料トライアルをダウンロードして、RabbitMQ のデータに接続する Python アプリケーションやスクリプトの構築を始めましょう。ご質問がありましたら、サポートチームまでお気軽にお問い合わせください。


完全なソースコード

import pandas
import matplotlib.pyplot as plt
from sqlalchemy import create_engin

engine = create_engine("api:///?Profile=C:\profiles\\RabbitMQ.apip&AuthScheme=Basic&URL=http://localhost:15672&User=guest&Password=guest")
df = pandas.read_sql("SELECT ,  FROM AuthAttempts WHERE NodeName = 'rabbit@hostname'", engine)

df.plot(kind="bar", x="", y="")
plt.show()

はじめる準備はできましたか？

API Driver で RabbitMQ のライブデータに接続

RabbitMQ に接続

この記事の内容

関連記事