Linux/UNIX 上のPython からRabbitMQ のデータにデータ連携

古川えりか
コンテンツスペシャリスト

CData ODBC Driver を使って、Linux/UNIX 上のPython アプリケーションからRabbitMQ のデータへのデータ連携を実現します。

CData ODBC Driver for API を使えば、豊富なPython のエコシステムを使ったデータ連携が簡単に行えます。CData Linux/UNIX ODBC Driver for API とpyodbc module を使って、簡単にRabbitMQ に連携するPython アプリケーションを構築したり、データ分析が手軽に行えます。本記事では、pyodbc のビルトイン関数を使って、RabbitMQ に接続し、クエリを実行、表示する方法を説明します。

CData ODBC ドライバとは？

CData ODBC ドライバは、以下のような特徴を持ったリアルタイムデータ連携ソリューションです。

RabbitMQ をはじめとする、CRM、MA、会計ツールなど多様なカテゴリの270種類以上のSaaS / オンプレミスデータソースに対応
多様なアプリケーション、ツールにRabbitMQ のデータを連携
ノーコードでの手軽な接続設定
標準 SQL での柔軟なデータ読み込み・書き込み

CData ODBC ドライバでは、1.データソースとしてRabbitMQ の接続を設定、2.Linux 側でODBC Driver との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。

CData ODBC Drivers をUNIX/Linux マシンで利用

CData ODBC Drivers は、Ubuntu、Debian、RHEL、CentOS、Fedora などの様々なRed Hat ベースおよびDebian ベースのシステムでサポートされています。必要なライブラリとパッケージもいくつかあり、システムによってはそれらがデフォルトでインストールされる場合があります。Linux オペレーティングシステムのサポートされているバージョンと必要なライブラリの詳細については、ヘルプドキュメント（オンラインでインストールおよび検索）の［はじめに］セクションを参照してください。

Driver Manager のインストール

ドライバーをインストールする前に、システムにドライバーマネジャーがあることを確認してください。この記事では、広くサポートされている無料のオープンソースODBC ドライバーマネジャーであるunixODBC を使用します。

Ubuntu のようなDebian ベースのシステムの場合、APT パッケージマネジャーを使用してunixODBC をインストールできます。

$ sudo apt-get install unixODBC unixODBC-dev

Red Hat Linux に基づくシステムの場合、yum またはdnf を使用して、unixODBC をインストールできます。

$ sudo yum install unixODBC unixODBC-devel

unixODBC ドライバーマネジャーは、odbcinst.ini ファイルからドライバーに関する情報を読み取り、odbc.ini ファイルからデータソースに関する情報を読み取ります。ターミナルに以下のコマンドを入力すると、システム上の構成ファイルの場所を特定できます。

$ odbcinst -j

コマンドの出力には、ODBC データソースと登録済みのODBC ドライバーの構成ファイルの場所が表示されます。ユーザーデータソースには、odbc.ini が存在するホームフォルダを持つユーザーアカウントからのみアクセスできます。システムのデータソースには、すべてのユーザーがアクセスできます。以下は、このコマンドの出力例です。

DRIVERS............: /etc/odbcinst.ini
SYSTEM DATA SOURCES: /etc/odbc.ini
FILE DATA SOURCES..: /etc/ODBCDataSources
USER DATA SOURCES..: /home/myuser/.odbc.ini
SQLULEN Size.......:8
SQLLEN Size........:8
SQLSETPOSIROW Size.:8

ドライバーのインストール

標準パッケージ形式（Debian .deb パッケージ形式または.rpm ファイル形式）でドライバーをダウンロードすることができます。フィルをダウンロードしたら、ターミナルからドライバーをインストールできます。

ドライバーインストーラーは、ドライバーをunixODBC に登録し、システムDSN を作成します。これは、後にODBC 接続をサポートするツールやアプリケーションで使用できます。

Ubuntu のようなDebian ベースのシステムの場合、sudo を付けるか、root として次のコマンドを実行します。

$ dpkg -i /path/to/package.deb

Red Hat システムおよび.rpms をサポートするその他のシステムの場合には、sudo またはroot として以下のコマンドを実行します。

$ rpm -i /path/to/package.rpm

ドライバーがインストールされると、unixODBC ドライバーマネジャーを使用して、登録されたドライバーと定義されたデータソースを一覧表示できます。

登録済みドライバーを一覧表示

$ odbcinst -q -d
CData ODBC Driver for API
...

定義されたデータソースを一覧表示

$ odbcinst -q -s
CData API Source
...

CData ODBC Driver for API をunixODBC で使用するには、ドライバーがUTF-16 を使用するように構成されていることを確認してください。これを行うには、以下のように、インストール場所のlib フォルダ(通常は、/opt/cdata/cdata-odbc-driver-for-api) にあるドライバーのINI ファイル(cdata.odbc.api.ini) を編集します。

cdata.odbc.api.ini

...

[Driver]
DriverManagerEncoding = UTF-16

DSN の変更

ドライバーのインストールにより、システムDSN が事前定義されます。システムデータソースファイル（/etc/odbc.ini）を編集し、必要な接続プロパティを定義することで、DSN を変更できます。さらに、$HOME/.odbc.ini で変更するためにroot アクセスを必要としない、ユーザー固有のDSN を作成できます。

RabbitMQ Management HTTP API について

RabbitMQ は、複数のメッセージングプロトコルをサポートするオープンソースのメッセージブローカーです。RabbitMQ Management HTTP API は、RabbitMQ サーバーの管理データと監視データに HTTP 経由でアクセスする手段を提供します。この API では、仮想ホスト、エクスチェンジ、キュー、バインディング、コネクション、チャネル、コンシューマー、ユーザー、権限、ポリシー、クラスター全体の統計情報を取得できます。

HTTP API を利用するには、RabbitMQ サーバーで Management プラグインを有効化する必要があります。デフォルトでは、管理インターフェースはポート 15672 でリッスンします。

Basic 認証の設定

RabbitMQ Management HTTP API は HTTP Basic 認証を使用します。RabbitMQ 管理ユーザーのユーザー名とパスワードを指定する必要があります。

管理 API へのアクセスを有効にするには、以下のステップで進めます：

サーバーで RabbitMQ Management プラグインが有効になっていることを確認します（rabbitmq-plugins enable rabbitmq_management）。
既存の管理ユーザーを使用するか、適切な管理タグ（management、policymaker、monitoring、または administrator）を持つユーザーを作成します。
RabbitMQ Management HTTP API の完全なベース URL を控えておきます（例：http://localhost:15672）。

RabbitMQ サーバーを設定したら、以下の接続プロパティを設定して接続します：

AuthScheme：Basic に設定します。
URL：RabbitMQ Management HTTP API のベース URL に設定します（例：http://localhost:15672）。
User：RabbitMQ の管理ユーザー名に設定します（例：guest）。
Password：RabbitMQ の管理パスワードに設定します。

接続文字列の例：

Profile=C:\profiles\RabbitMQ.apip;AuthScheme=Basic;URL=http://localhost:15672;User=guest;Password=guest;

利用可能なテーブル

RabbitMQ プロファイルでは、以下のテーブルにアクセスできます：

Overview - クラスター全体の統計情報と RabbitMQ ノードに関する情報
Nodes - RabbitMQ クラスター内の個々のノードに関する情報
NodeMemory - 特定のクラスターノードの詳細なメモリ使用状況の内訳
Connections - ブローカーへのすべてのオープンな AMQP コネクションの一覧
Channels - すべてのコネクションにわたるオープンな AMQP チャネルの一覧
Consumers - すべてのキューに登録されたコンシューマーの一覧
Exchanges - すべての仮想ホストで宣言されたエクスチェンジの一覧
Queues - すべての仮想ホストで宣言されたキューの一覧
Bindings - エクスチェンジとキュー間のすべてのバインディングの一覧
VirtualHosts - ブローカーに設定された仮想ホストの一覧
VhostPermissions - 特定の仮想ホスト内のユーザー権限
Users - すべての RabbitMQ ユーザーの一覧
Permissions - すべての仮想ホストにわたる全ユーザーの権限レコード
TopicPermissions - 全ユーザーのトピックレベルの権限レコード
Policies - 仮想ホスト内のキューおよびエクスチェンジに適用されたポリシーの一覧
OperatorPolicies - 仮想ホスト内のキューに適用されたオペレーターポリシーの一覧
Parameters - 仮想ホストごとのコンポーネントパラメータ（例：federation、shovel）の一覧
GlobalParameters - すべての仮想ホストに適用されるグローバルパラメータの一覧
VhostLimits - 特定の仮想ホストに設定されたリソース制限
UserLimits - 特定のユーザーに設定されたリソース制限
FeatureFlags - フィーチャーフラグの一覧と、ノード上での有効／無効の状態
DeprecatedFeatures - 非推奨機能の一覧と、その使用状態
AuthAttempts - ノードの認証試行統計
ClusterName - RabbitMQ クラスターの名前
WhoAmI - 現在認証されている管理ユーザーに関する情報
ExchangeBindingsSource - 特定のエクスチェンジがソースとなっているバインディング
ExchangeBindingsDestination - 特定のエクスチェンジが宛先となっているバインディング
QueueBindings - 仮想ホスト内の特定のキューのバインディング

/etc/odbc.ini または$HOME/.odbc.ini

[CData API Source]
Driver = CData ODBC Driver for API
Description = My Description
Profile = C:\profiles\\RabbitMQ.apip
AuthScheme = Basic
URL = http://localhost:15672
User = guest
Password = guest

これらの構成ファイルの使用に関する具体的な情報については、、ヘルプドキュメントを参照してください。

以下のステップに従ってpyodbc をインストールし、Python オブジェクトを介してRabbitMQ へのアクセスを開始できます。

pyodbc のインストール

pip ユーティリティを使用してモジュールをインストールできます。

pip install pyodbc

必ず以下のコードでモジュールをインポートしてください。

import pyodbc

Python でのRabbitMQ のデータへの接続

これで、ODBC 接続文字列またはDSN で接続できます。以下は、接続文字列の構文です。

cnxn = pyodbc.connect('DRIVER={CData ODBC Driver for API};Profile=C:\profiles\\RabbitMQ.apip;AuthScheme=Basic;URL=http://localhost:15672;User=guest;Password=guest;')

以下は、DSN の構文です。

cnxn = pyodbc.connect('DSN=CData API Sys;')

RabbitMQ へのSQL の実行

Cursor をインスタンス化し、Cursor クラスのexecute メソッドを使用してSQL ステートメントを実行します。

cursor = cnxn.cursor()

選択

fetchall、fetchone、およびfetchmany を使用し、SELECT ステートメントから返されたRows を取得できます。

import pyodbc

cursor = cnxn.cursor()
cnxn = pyodbc.connect('DSN=CData API Source;User=MyUser;Password=MyPassword')
cursor.execute("SELECT ,  FROM AuthAttempts WHERE NodeName = 'rabbit@hostname'")
rows = cursor.fetchall()
for row in rows:
  print(row., row.)

パラメータ化されたクエリをシーケンスまたは因数リストで提供できます。

cursor.execute(
  "SELECT , 
  FROM AuthAttempts
  WHERE NodeName = ?", 'rabbit@hostname',1)

メタデータの発見

getinfo メソッドを使用してデータソースやドライバーの機能に関する情報などのデータを取得できます。getinfo メソッドは、入力をODBC SQLGetInfo メソッドに渡します。

cnxn.getinfo(pyodbc.SQL_DATA_SOURCE_NAME)

CData ODBC Driver for API を使用してRabbitMQ に接続できるLinux/UNIX 環境で、Python アプリを構築することができるようになりました。

RabbitMQ からLinux へのデータ連携には、ぜひCData ODBC ドライバをご利用ください

このようにCData ODBC ドライバと併用することで、270を超えるSaaS、NoSQL データをコーディングなしで扱うことができます。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。

CData ODBC ドライバは日本のユーザー向けに、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。

はじめる準備はできましたか？

API Driver で RabbitMQ のライブデータに接続

RabbitMQ に接続

CData は、AI を本番環境で機能させるデータレイヤーです。数百の主要エンタープライズソースへのライブコネクティビティとレプリケーション、セマンティックコンテキスト、組み込みガバナンスを提供。Databricks、Microsoft、Google、Palantir をはじめ、世界中の 10,000 以上のお客様の AI を支えています。

お問い合わせ