Pentaho Data Integration でLakebase のデータを連携

CData JDBC Driver for Lakebase を使用すると、データパイプラインからリアルタイムデータにアクセスできます。Pentaho Data Integration は、ETL（Extraction, Transformation, and Loading）エンジンであり、データをクレンジングし、アクセス可能な統一フォーマットでデータを格納します。この記事では、Lakebase のデータ に JDBC データソースとして接続し、Pentaho Data Integration で Lakebase のデータ をベースにしたジョブやトランスフォーメーションを構築する方法を説明します。

Lakebase への接続を設定

Databricks Lakebase に接続するには、以下のプロパティを設定します。

• DatabricksInstance: Databricks インスタンスまたはサーバーホスト名を指定します。形式は instance-abcdef12-3456-7890-abcd-abcdef123456.database.cloud.databricks.com です。
• Server: Lakebase データベースをホストするサーバーのホスト名または IP アドレスを指定します。
• Port（オプション）: Lakebase データベースをホストするサーバーのポート番号を指定します。デフォルトは 5432 です。
• Database（オプション）: Lakebase サーバーへの認証後に接続するデータベースを指定します。デフォルトでは認証ユーザーのデフォルトデータベースに接続します。

OAuth クライアント認証

OAuth クライアント資格情報を使用して認証するには、サービスプリンシパルで OAuth クライアントを構成します。手順の概要は以下のとおりです。

1. 新しいサービスプリンシパルを作成・構成する
2. サービスプリンシパルに権限を割り当てる
3. サービスプリンシパル用の OAuth シークレットを作成する

詳細については、ヘルプドキュメントの「Setting Up OAuthClient Authentication」セクションをご参照ください。

OAuth PKCE 認証

PKCE（Proof Key for Code Exchange）を使用した OAuth code タイプで認証するには、以下のプロパティを設定します。

• AuthScheme: OAuthPKCE を指定します。
• User: 認証ユーザーのユーザー ID を指定します。

詳細については、ヘルプドキュメントをご参照ください。

組み込みの接続文字列デザイナー

JDBC URL の構築を支援するには、Lakebase JDBC Driver に組み込まれている接続文字列デザイナーを使用してください。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行します。

java -jar cdata.jdbc.lakebase.jar

接続プロパティを設定し、接続文字列をクリップボードにコピーします。

JDBC URL を設定する際には、Max Rows 接続プロパティの設定も検討してください。これにより返される行数が制限され、レポートやビジュアライゼーションの設計時にパフォーマンスを向上させることができます。

一般的な JDBC URL は次のようになります：

jdbc:lakebase:DatabricksInstance=lakebase;Server=127.0.0.1;Port=5432;Database=my_database;

接続文字列を保存して、Pentaho Data Integration で使用します。

Pentaho DI から Lakebase に接続

Pentaho Data Integration を開き、「Database Connection」を選択して CData JDBC Driver for Lakebase への接続を設定します。

1. 「General」をクリックします。
2. Connection name を設定します（例：Lakebase Connection）。
3. Connection type を「Generic database」に設定します。
4. Access を「Native (JDBC)」に設定します。
5. Custom connection URL に Lakebase の接続文字列を設定します（例：
   

   jdbc:lakebase:DatabricksInstance=lakebase;Server=127.0.0.1;Port=5432;Database=my_database;

   ）。
6. Custom driver class name を「cdata.jdbc.lakebase.LakebaseDriver」に設定します。
7. 接続をテストし、「OK」をクリックして保存します。

Lakebase のデータパイプラインを作成

CData JDBC Driver を使用して Lakebase への接続が設定されたら、新しいトランスフォーメーションまたはジョブを作成する準備が整いました。

1. 「File」>>「New」>>「Transformation/job」をクリックします。
2. 「Table input」オブジェクトをワークフローパネルにドラッグし、Lakebase 接続を選択します。
3. 「Get SQL select statement」をクリックし、Database Explorer を使用して利用可能なテーブルとビューを表示します。
4. テーブルを選択し、必要に応じてデータをプレビューして確認します。

ここから、適切な同期先を選択し、レプリケーション中にデータを変更、フィルタリング、その他の処理を行うトランスフォーメーションを追加することで、トランスフォーメーションまたはジョブを続行できます。

無料トライアルと詳細情報

CData JDBC Driver for Lakebase の 30日間無料トライアルをダウンロードして、Pentaho Data Integration で Lakebase のデータ のリアルタイムデータを今すぐ活用しましょう。