RabbitMQ のデータのPostgreSQL インターフェース

古川えりか
古川えりか
コンテンツスペシャリスト
SQL Gateway およびRabbitMQ ODBC Driver を使用して、データアクセス用のPostgreSQL エントリポイントを作成。



インターネット上には膨大な数のPostgreSQL クライアントが存在します。標準ドライバーからBI、Analytics ツールまで、PostgreSQL はデータアクセス用の一般的なインターフェースです。 ODBC Drivers に含まれるSQL Gateway を使用することで、どの標準クライアントからでも接続が可能なPostgreSQL エントリポイントを作成することができるようになります。

Windows でPostgreSQL データベースとしてRabbitMQ のデータにアクセスするには、CData SQL Gateway およびODBC Driver for API、EnterpriseDB のMySQL 外部データラッパーを使用します。この記事では、外部データラッパーをVisual Studio でコンパイルして拡張機能としてインストールし、PostgreSQL Server からRabbitMQ のデータをクエリします。

CData ODBC ドライバとは？

CData ODBC ドライバは、以下のような特徴を持ったリアルタイムデータ連携ソリューションです。

  1. RabbitMQ をはじめとする、CRM、MA、会計ツールなど多様なカテゴリの270種類以上のSaaS / オンプレミスデータソースに対応
  2. 多様なアプリケーション、ツールにRabbitMQ のデータを連携
  3. ノーコードでの手軽な接続設定
  4. 標準 SQL での柔軟なデータ読み込み・書き込み

CData ODBC ドライバでは、1.データソースとしてRabbitMQ の接続を設定、2.PostgreSQL 側でODBC Driver との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。

CData ODBC ドライバのインストールとRabbitMQ への接続設定

まずは、本記事右側のサイドバーからAPI ODBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。

接続プロパティが未設定の場合は、まずデータソースのODBC DSN で設定します。これはドライバーインストール時の最後の手順にあたります。Microsoft ODBC データソースアドミニストレーターを使ってODBC DSN を作成および設定できます。

RabbitMQ Management HTTP API について

RabbitMQ は、複数のメッセージングプロトコルをサポートするオープンソースのメッセージブローカーです。RabbitMQ Management HTTP API は、RabbitMQ サーバーの管理データと監視データに HTTP 経由でアクセスする手段を提供します。この API では、仮想ホスト、エクスチェンジ、キュー、バインディング、コネクション、チャネル、コンシューマー、ユーザー、権限、ポリシー、クラスター全体の統計情報を取得できます。

HTTP API を利用するには、RabbitMQ サーバーで Management プラグインを有効化する必要があります。デフォルトでは、管理インターフェースはポート 15672 でリッスンします。

Basic 認証の設定

RabbitMQ Management HTTP API は HTTP Basic 認証を使用します。RabbitMQ 管理ユーザーのユーザー名とパスワードを指定する必要があります。

管理 API へのアクセスを有効にするには、以下のステップで進めます：

  1. サーバーで RabbitMQ Management プラグインが有効になっていることを確認します（rabbitmq-plugins enable rabbitmq_management）。
  2. 既存の管理ユーザーを使用するか、適切な管理タグ（management、policymaker、monitoring、または administrator）を持つユーザーを作成します。
  3. RabbitMQ Management HTTP API の完全なベース URL を控えておきます（例：http://localhost:15672）。

RabbitMQ サーバーを設定したら、以下の接続プロパティを設定して接続します：

  • AuthScheme：Basic に設定します。
  • URL：RabbitMQ Management HTTP API のベース URL に設定します（例：http://localhost:15672）。
  • User：RabbitMQ の管理ユーザー名に設定します（例：guest）。
  • Password：RabbitMQ の管理パスワードに設定します。

接続文字列の例：

Profile=C:\profiles\RabbitMQ.apip;AuthScheme=Basic;URL=http://localhost:15672;User=guest;Password=guest;

利用可能なテーブル

RabbitMQ プロファイルでは、以下のテーブルにアクセスできます：

  • Overview - クラスター全体の統計情報と RabbitMQ ノードに関する情報
  • Nodes - RabbitMQ クラスター内の個々のノードに関する情報
  • NodeMemory - 特定のクラスターノードの詳細なメモリ使用状況の内訳
  • Connections - ブローカーへのすべてのオープンな AMQP コネクションの一覧
  • Channels - すべてのコネクションにわたるオープンな AMQP チャネルの一覧
  • Consumers - すべてのキューに登録されたコンシューマーの一覧
  • Exchanges - すべての仮想ホストで宣言されたエクスチェンジの一覧
  • Queues - すべての仮想ホストで宣言されたキューの一覧
  • Bindings - エクスチェンジとキュー間のすべてのバインディングの一覧
  • VirtualHosts - ブローカーに設定された仮想ホストの一覧
  • VhostPermissions - 特定の仮想ホスト内のユーザー権限
  • Users - すべての RabbitMQ ユーザーの一覧
  • Permissions - すべての仮想ホストにわたる全ユーザーの権限レコード
  • TopicPermissions - 全ユーザーのトピックレベルの権限レコード
  • Policies - 仮想ホスト内のキューおよびエクスチェンジに適用されたポリシーの一覧
  • OperatorPolicies - 仮想ホスト内のキューに適用されたオペレーターポリシーの一覧
  • Parameters - 仮想ホストごとのコンポーネントパラメータ（例：federation、shovel）の一覧
  • GlobalParameters - すべての仮想ホストに適用されるグローバルパラメータの一覧
  • VhostLimits - 特定の仮想ホストに設定されたリソース制限
  • UserLimits - 特定のユーザーに設定されたリソース制限
  • FeatureFlags - フィーチャーフラグの一覧と、ノード上での有効／無効の状態
  • DeprecatedFeatures - 非推奨機能の一覧と、その使用状態
  • AuthAttempts - ノードの認証試行統計
  • ClusterName - RabbitMQ クラスターの名前
  • WhoAmI - 現在認証されている管理ユーザーに関する情報
  • ExchangeBindingsSource - 特定のエクスチェンジがソースとなっているバインディング
  • ExchangeBindingsDestination - 特定のエクスチェンジが宛先となっているバインディング
  • QueueBindings - 仮想ホスト内の特定のキューのバインディング

リモートサービスを開始する

MySQL リモートサービスは、クライアントからのMySQL 接続の受信を待機するデーモンプロセスです。CData SQL Gateway でMySQL リモートサービスを構成するには、SQL Gateway の概要にあるセットアップガイド を参照してください。

MySQL 外部データラッパーを構築する

外部データラッパー（FDW）は、PostgreSQL を再コンパイルすることなく拡張機能としてインストールできます。Unix ベースのシステムでPostgreSQL を実行している場合、PostgreSQL Extension Network（PGXN）を使用してFDW（mysql_fdw）をインストールできます。Windows でPostgreSQL を実行している場合は、拡張機能をコンパイルして最新バージョンを使用していることを確認してください。以下のステップに従って、Visual Studio から拡張機能を構築するのに必要な編集を行います。

前提条件を取得する

外部データラッパーを構築するために、以下を行います。

  • PostgreSQL をインストールします。この例では、インストールにPostgreSQL 9.4 を使用します。
  • PostgreSQL の64 ビットインストールを使用している場合、PostgreSQL ソースからlibintl.h を取得します。64 ビットのPostgreSQL インストーラーは、現時点ではlibintl.h を含みません。
  • mysql_fdw 外部データラッパーへのソースを、EnterpriseDB から取得します。
  • MySQL Connector C をインストールします。この例では、MySQL Connector C 6.1 を使用します。

プロジェクトを構成する

必要なソフトウェアとソースコードを取得したら、Visual Studio で拡張機能をコンパイルする準備ができました。以下のステップに従い、mysql_fdw ソースを使用してプロジェクトを作成します。

  1. Visual Studio で、新しい空のC++ プロジェクトを作成します。
  2. Solution Explorer において、「Source Files」を右クリックし、「Add」->「Existing Item」をクリックします。ファイルエクスプローラーで、mysql_fdw からすべての.c ファイルと.h ファイルを選択します。

以下のステップに従ってプロジェクトを構成します。

  1. 64 ビットシステム用に構成するには、「Build」->「Configuration Manager」とクリックし、「Active Solution Platform」で「x64」を選択します。
  2. プロジェクトを右クリックして「Properties」をクリックします。
  3. 「Configuration」メニューで「All Configurations」を選択します。
  4. 「Configuration Properties」->「General」->「Configuration Type」と進み、「Dynamic Library」を選択します。
  5. 「Configuration Properties」->「C/C++」->「Code Generation」->「Enable C++ Exceptions」と進み、「No」を選択します。
  6. 「Configuration Properties」->「C/C++」->「Advanced」->「Compile As」と進み、「Compile as C Code」を選択します。
  7. 「Linker」->「Manifest File」->「Generate Manifest」と進み、「No」をクリックします。

以下のステップに従って必要な依存関係を追加します。

  1. 「Linker」->「Input」->「Additional Dependencies」と進み、「Edit」を選択して以下を入力します。 
    postgres.lib
libmysql.lib
WS2_32.lib
Secur32.lib
    さらに、「Inherit From Parent」または「Project Defaults」がチェックされていることを確認します。
  2. 「Linker」->「General」->「Additional Library Directories」と進み、「Edit」を選択してPostgreSQL インストールのlib フォルダへのパスを追加します。
  3. 「Linker」->「General」->「Link Library Dependencies」と進み、「No」を選択します。
  4. プロジェクトの構成を完了するために必要なものを追加します。 「C/C++」->「General」->「Additional Include Directories」と進み、フォルダを次の順で追加します。 
    MyMySQLConnectorCInstallation\include
MyPostgreSQLInstallation\MyPostgreSQLVersion\include\server\port\win32_msvc
MyPostgreSQLInstallation\MyPostgreSQLVersion\include\server\port\win32
MyPostgreSQLInstallation\MyPostgreSQLVersion\include\server
MyPostgreSQLInstallation\MyPostgreSQLVersion\include

Windows 用にmysql_fdw を構成する

プロジェクトを設定したら、Visual Studio でmysql_fdw を構築するために以下の変更を加えます。

  1. mysql_fdw.c で以下の定義を追加します。 
    #define dlsym(lib, name) (void*)GetProcAddress((HMODULE)lib, name)
#define dlopen(libname, unused) LoadLibraryEx(libname, NULL, 0)
  2. mysql_load_library の定義で、以下の行を削除します。 
    mysql_dll_handle = dlopen(_MYSQL_LIBNAME, RTLD_LAZY | RTLD_DEEPBIND);
  3. mysql_load_library の定義に次の行を追加して、Windows ビルド用のmysql_dll_handle の割り当てを置き換えます。 
    mysql_dll_handle = dlopen("libmysql.dll", 0);
  4. mysql_fdw_handler 関数を呼び出す前に__declspec（dllexport）キーワードを付けてDLL から関数をエクスポートします。 
    __declspec(dllexport) extern Datum mysql_fdw_handler(PG_FUNCTION_ARGS);
  5. option.c でmysql_fdw_validator 関数の宣言に__declspec（dllexport）キーワードを追加して、DLL から関数をエクスポートします。 
    __declspec(dllexport) extern Datum mysql_fdw_validator(PG_FUNCTION_ARGS);

これで、Release 構成とビルドを選択できるようになりました。

拡張機能をインストールする

DLL をコンパイルしたら次のステップに従って拡張機能をインストールします。

  1. MySQL Connector C のlib フォルダへのパスをPostgreSQL を実行しているマシンのPATH 環境変数に追加します。
  2. プロジェクトのRelease フォルダからPostgreSQL インストールのlib サブフォルダにDLL をコピーします。
  3. mysql_fdw csource ファイルを含むフォルダで、myswl_fdw--1.0.sql とmysql_fdw.control を、PostgreSQL インストールの共有フォルダの下にある拡張フォルダにコピーします。例：C:\Program Files\PostgreSQL\9.4\share\extension.

PostgreSQL データベースとしてRabbitMQ のデータをクエリする

拡張機能をインストールしたら、次のステップに従ってRabbitMQ のデータへのクエリの実行を開始します。

  1. PostgreSQL データベースにログインします。例： 
    C:\> psql -U postgres
  2. データベースの拡張機能をロードします。 
    postgres=#CREATE EXTENSION mysql_fdw;
  3. RabbitMQ のデータのサーバーオブジェクトを作成します。 
    postgres=# CREATE SERVER API FOREIGN DATA WRAPPER mysql_fdw OPTIONS (host
'127.0.0.1', port '3306');
  4. MySQL リモートサービスが認識しているユーザーのユーザー名とパスワードにユーザーマッピングを作成します。以下は、サービスのサンプル構成におけるユーザーの資格情報です。 
    postgres=# CREATE USER MAPPING for postgres SERVER API OPTIONS (username
'admin', password 'test');
  5. ローカルスキーマを作成します。 
    postgres=# CREATE SCHEMA API_db;
  6. 定義したRabbitMQ のデータベースですべてのテーブルをインポートします。 
    postgres=# IMPORT FOREIGN SCHEMA "CData API Sys" FROM SERVER API INTO API_db;

これで、RabbitMQ へのSELECT コマンドを実行することができるようになりました。 

postgres=# SELECT * FROM API_db."authattempts";

RabbitMQ からPostgreSQL へのデータ連携には、ぜひCData ODBC ドライバをご利用ください

このようにCData ODBC ドライバと併用することで、270を超えるSaaS、NoSQL データをコーディングなしで扱うことができます。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。

CData ODBC ドライバは日本のユーザー向けに、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。

はじめる準備はできましたか？

API Driver で RabbitMQ のライブデータに接続

RabbitMQ に接続

この記事の内容

関連記事