Pentaho Data Integration でBitbucket のデータを連携

Jerod Johnson
Director, Technology Evangelism

Pentaho Data Integration で Bitbucket のデータをベースにした ETL パイプラインを構築します。

CData JDBC Driver for Bitbucket を使用すると、データパイプラインからリアルタイムデータにアクセスできます。Pentaho Data Integration は、ETL（Extraction, Transformation, and Loading）エンジンであり、データをクレンジングし、アクセス可能な統一フォーマットでデータを格納します。この記事では、Bitbucket のデータに JDBC データソースとして接続し、Pentaho Data Integration で Bitbucket のデータをベースにしたジョブやトランスフォーメーションを構築する方法を説明します。

Bitbucket への接続を設定

ほとんどのクエリでは、ワークスペースを設定する必要があります。唯一の例外は、Workspacesテーブルです。このテーブルはこのプロパティの設定を必要とせず、クエリを実行すると、Workspaceの設定に使用できるワークスペーススラッグのリストが提供されます。このテーブルにクエリを実行するには、スキーマを'Information'に設定し、SELECT * FROM Workspacesクエリを実行する必要があります。

Schemaを'Information'に設定すると、一般的な情報が表示されます。Bitbucketに接続するには、以下のパラメータを設定してください。

Schema: ワークスペースのユーザー、リポジトリ、プロジェクトなどの一般的な情報を表示するには、これを'Information'に設定します。それ以外の場合は、クエリを実行するリポジトリまたはプロジェクトのスキーマに設定します。利用可能なスキーマの完全なセットを取得するには、sys_schemasテーブルにクエリを実行してください。
Workspace: Workspacesテーブルにクエリを実行する場合を除き、必須です。Workspacesテーブルへのクエリにはこのプロパティは必要ありません。そのクエリはWorkspaceの設定に使用できるワークスペーススラッグのリストのみを返すためです。

Bitbucketでの認証

BitbucketはOAuth認証のみをサポートしています。すべてのOAuthフローからこの認証を有効にするには、カスタムOAuthアプリケーションを作成し、AuthSchemeをOAuthに設定する必要があります。

特定の認証ニーズ（デスクトップアプリケーション、Webアプリケーション、ヘッドレスマシン）に必要な接続プロパティについては、ヘルプドキュメントを必ず確認してください。

カスタムOAuthアプリケーションの作成

Bitbucketアカウントから、以下のステップを実行します。

設定（歯車アイコン）に移動し、ワークスペース設定を選択します。
アプリと機能セクションで、OAuthコンシューマーを選択します。
コンシューマーを追加をクリックします。
カスタムアプリケーションの名前と説明を入力します。
コールバックURLを設定します。
- デスクトップアプリケーションとヘッドレスマシンの場合、http://localhost:33333または任意のポート番号を使用します。ここで設定するURIがCallbackURLプロパティになります。
- Webアプリケーションの場合、信頼できるリダイレクトURLにコールバックURLを設定します。このURLは、ユーザーがアプリケーションにアクセスが許可されたことを確認するトークンを持って戻るWebの場所です。
クライアント認証情報を使用して認証する予定の場合、これはプライベートコンシューマーですを選択する必要があります。ドライバーでは、AuthSchemeをclientに設定する必要があります。
OAuthアプリケーションに与える権限を選択します。これにより、読み取りおよび書き込みできるデータが決まります。
新しいカスタムアプリケーションを保存するには、保存をクリックします。
アプリケーションが保存された後、それを選択して設定を表示できます。アプリケーションのKeyとSecretが表示されます。これらを将来の使用のために記録してください。Keyを使用してOAuthClientIdを設定し、Secretを使用してOAuthClientSecretを設定します。

組み込みの接続文字列デザイナー

JDBC URL の構築を支援するには、Bitbucket JDBC Driver に組み込まれている接続文字列デザイナーを使用してください。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行します。

java -jar cdata.jdbc.bitbucket.jar

接続プロパティを設定し、接続文字列をクリップボードにコピーします。

組み込みの接続文字列デザイナーを使用して JDBC URL を生成（Salesforce の例）

JDBC URL を設定する際には、Max Rows 接続プロパティの設定も検討してください。これにより返される行数が制限され、レポートやビジュアライゼーションの設計時にパフォーマンスを向上させることができます。

一般的な JDBC URL は次のようになります：

jdbc:bitbucket:Workspace=myworkspaceslug;Schema=Information

接続文字列を保存して、Pentaho Data Integration で使用します。

Pentaho DI から Bitbucket に接続

Pentaho Data Integration を開き、「Database Connection」を選択して CData JDBC Driver for Bitbucket への接続を設定します。

「General」をクリックします。
Connection name を設定します（例：Bitbucket Connection）。
Connection type を「Generic database」に設定します。
Access を「Native (JDBC)」に設定します。
Custom connection URL に Bitbucket の接続文字列を設定します（例：
```
jdbc:bitbucket:Workspace=myworkspaceslug;Schema=Information
```
）。
Custom driver class name を「cdata.jdbc.bitbucket.BitbucketDriver」に設定します。
接続をテストし、「OK」をクリックして保存します。