CData Connect AI 経由でPostgreSQL インターフェースからリアルタイムの Bitbucket のデータに接続
インターネット上には数多くのPostgreSQL クライアントがあります。PostgreSQL はデータアクセスのための一般的なインターフェースです。PostgreSQL をCData Connect AI と組み合わせることで、PostgreSQL からリアルタイムのBitbucket のデータにデータベースのようにアクセスできます。この記事では、Connect AI でBitbucket のデータに接続し、TDS foreign data wrapper(FDW)を使用してConnect AI とPostgreSQL 間の接続を確立するプロセスを説明します。
CData Connect AI は Bitbucket 専用のSQL Server インターフェースを提供し、ネイティブでサポートされているデータベースにデータをレプリケートすることなく Bitbucket のデータをクエリできます。最適化されたデータ処理を標準で使用し、CData Connect AI はサポートされているすべてのSQL 操作(フィルター、JOIN など)を Bitbucket に直接プッシュし、サーバーサイド処理を活用して必要なBitbucket のデータを迅速に返します。
Connect AI で Bitbucket に接続
CData Connect AI は、シンプルなポイント&クリック操作でデータソースに接続できるインターフェースを提供しています。
- Connect AI にログインして「Sources」をクリックし、 Add Connection をクリックします
- Add Connection パネルから「Bitbucket」を選択します
-
Bitbucket への接続に必要な認証プロパティを入力します。
ほとんどのクエリでは、ワークスペースを設定する必要があります。唯一の例外は、Workspacesテーブルです。このテーブルはこのプロパティの設定を必要とせず、クエリを実行すると、Workspaceの設定に使用できるワークスペーススラッグのリストが提供されます。このテーブルにクエリを実行するには、スキーマを'Information'に設定し、SELECT * FROM Workspacesクエリを実行する必要があります。
Schemaを'Information'に設定すると、一般的な情報が表示されます。Bitbucketに接続するには、以下のパラメータを設定してください。
- Schema: ワークスペースのユーザー、リポジトリ、プロジェクトなどの一般的な情報を表示するには、これを'Information'に設定します。それ以外の場合は、クエリを実行するリポジトリまたはプロジェクトのスキーマに設定します。利用可能なスキーマの完全なセットを取得するには、sys_schemasテーブルにクエリを実行してください。
- Workspace: Workspacesテーブルにクエリを実行する場合を除き、必須です。Workspacesテーブルへのクエリにはこのプロパティは必要ありません。そのクエリはWorkspaceの設定に使用できるワークスペーススラッグのリストのみを返すためです。
Bitbucketでの認証
BitbucketはOAuth認証のみをサポートしています。すべてのOAuthフローからこの認証を有効にするには、カスタムOAuthアプリケーションを作成し、AuthSchemeをOAuthに設定する必要があります。
特定の認証ニーズ(デスクトップアプリケーション、Webアプリケーション、ヘッドレスマシン)に必要な接続プロパティについては、ヘルプドキュメントを必ず確認してください。
カスタムOAuthアプリケーションの作成
Bitbucketアカウントから、以下のステップを実行します。
- 設定(歯車アイコン)に移動し、ワークスペース設定を選択します。
- アプリと機能セクションで、OAuthコンシューマーを選択します。
- コンシューマーを追加をクリックします。
- カスタムアプリケーションの名前と説明を入力します。
- コールバックURLを設定します。
- デスクトップアプリケーションとヘッドレスマシンの場合、http://localhost:33333または任意のポート番号を使用します。ここで設定するURIがCallbackURLプロパティになります。
- Webアプリケーションの場合、信頼できるリダイレクトURLにコールバックURLを設定します。このURLは、ユーザーがアプリケーションにアクセスが許可されたことを確認するトークンを持って戻るWebの場所です。
- クライアント認証情報を使用して認証する予定の場合、これはプライベートコンシューマーですを選択する必要があります。ドライバーでは、AuthSchemeをclientに設定する必要があります。
- OAuthアプリケーションに与える権限を選択します。これにより、読み取りおよび書き込みできるデータが決まります。
- 新しいカスタムアプリケーションを保存するには、保存をクリックします。
- アプリケーションが保存された後、それを選択して設定を表示できます。アプリケーションのKeyとSecretが表示されます。これらを将来の使用のために記録してください。Keyを使用してOAuthClientIdを設定し、Secretを使用してOAuthClientSecretを設定します。
- Save & Test をクリックします
-
Add Bitbucket Connection ページの「Permissions」タブに移動し、ユーザーベースの権限を更新します。
Personal Access Token の追加
REST API、OData API、またはVirtual SQL Server 経由でConnect AI に接続する場合、Personal Access Token(PAT)を使用してConnect AI への接続を認証します。アクセス管理の粒度を維持するために、サービスごとに個別のPAT を作成することをお勧めします。
- Connect AI アプリの右上にある歯車アイコン()をクリックして設定ページを開きます。
- Settings ページで「Access Tokens」セクションに移動し、 Create PAT をクリックします。
-
PAT に名前を付けて「Create」をクリックします。
- Personal Access Token は作成時にのみ表示されるため、必ずコピーして安全な場所に保存してください。
接続の設定とPAT の生成が完了したら、PostgreSQL からBitbucket のデータに接続する準備が整いました。
TDS Foreign Data Wrapper のビルド
Foreign Data Wrapper は、PostgreSQL を再コンパイルすることなく、PostgreSQL の拡張機能としてインストールできます。例として tds_fdw 拡張機能を使用します(https://github.com/tds-fdw/tds_fdw)。
- 以下のようにgit リポジトリをクローンしてビルドできます:
注意:複数のPostgreSQL バージョンがあり、デフォルト以外のバージョン用にビルドする場合は、まずpg_config のバイナリの場所を見つけてフルパスをメモし、make コマンドでUSE_PGXS=1 の後にPG_CONFIG=sudo apt-get install git git clone https://github.com/tds-fdw/tds_fdw.git cd tds_fdw make USE_PGXS=1 sudo make USE_PGXS=1 installを追加します。 - インストールが完了したら、サーバーを起動します:
sudo service postgresql start - 次に、Postgres データベースに入ります
注意:localhost の代わりにPostgreSQL がホストされているIP を指定することもできます。psql -h localhost -U postgres -d postgres
PostgreSQL データベースとしてBitbucket のデータに接続し、データをクエリ!
拡張機能をインストールした後、以下の手順に従ってBitbucket のデータへのクエリを開始します:
- データベースにログインします。
- データベース用の拡張機能をロードします:
CREATE EXTENSION tds_fdw; - Bitbucket のデータ 用のサーバーオブジェクトを作成します:
CREATE SERVER "Bitbucket1" FOREIGN DATA WRAPPER tds_fdw OPTIONS (servername'tds.cdata.com', port '14333', database 'Bitbucket1'); - Connect AI アカウントのメールアドレスとPersonal Access Token を使用してユーザーマッピングを設定します:
CREATE USER MAPPING for postgres SERVER "Bitbucket1" OPTIONS (username '[email protected]', password 'your_personal_access_token' ); - ローカルスキーマを作成します:
CREATE SCHEMA "Bitbucket1"; - ローカルデータベースに外部テーブルを作成します:
#table_name 定義を使用: CREATE FOREIGN TABLE "Bitbucket1".Issues ( id varchar, ContentRaw varchar) SERVER "Bitbucket1" OPTIONS(table_name 'Bitbucket.Issues', row_estimate_method 'showplan_all'); #またはschema_name とtable_name 定義を使用: CREATE FOREIGN TABLE "Bitbucket1".Issues ( id varchar, ContentRaw varchar) SERVER "Bitbucket1" OPTIONS (schema_name 'Bitbucket', table_name 'Issues', row_estimate_method 'showplan_all'); #またはquery 定義を使用: CREATE FOREIGN TABLE "Bitbucket1".Issues ( id varchar, ContentRaw varchar) SERVER "Bitbucket1" OPTIONS (query 'SELECT * FROM Bitbucket.Issues', row_estimate_method 'showplan_all'); #またはリモートカラム名を設定: CREATE FOREIGN TABLE "Bitbucket1".Issues ( id varchar, col2 varchar OPTIONS (column_name 'ContentRaw')) SERVER "Bitbucket1" OPTIONS (schema_name 'Bitbucket', table_name 'Issues', row_estimate_method 'showplan_all'); - これで、Bitbucket に対して読み取り/書き込みコマンドを実行できます:
SELECT id, ContentRaw FROM "Bitbucket1".Issues;
詳細情報と無償トライアル
これで、リアルタイムのBitbucket のデータからシンプルなクエリを作成できました。Bitbucket(およびその他200以上のデータソース)への接続の詳細については、Connect AI ページをご覧ください。無償トライアルに登録して、今すぐPostgreSQL でリアルタイムのBitbucket のデータを活用してみてください。