Google Cloud Data FusionでHubDB のパイプラインを構築（Connect AI）

Google Cloud Data Fusion は、ビジュアルインターフェースを使用してさまざまなソースと同期先間でデータを接続、変換、移動できるため、データパイプラインの構築と管理を簡素化します。CData Connect AI と組み合わせることで、ELT/ETL データパイプラインの構築と管理にHubDB のデータへのアクセスが可能になります。この記事では、CData Connect AI を使用して HubDB へのライブ接続を作成する方法と、Cloud Data Fusion プラットフォームからリアルタイムのHubDB のデータに接続・アクセスする方法を説明します。

Cloud Data Fusion 用の HubDB 接続を設定

Cloud Data Fusion から HubDB への接続は、CData Connect AI によって実現されます。Cloud Data Fusion からHubDB のデータを扱うには、まず HubDB 接続を作成・設定します。

1. Connect AI にログインし、Sources をクリック、次に Add Connection をクリック

2. Add Connection パネルから「HubDB」を選択

3. HubDB に接続するために必要な認証プロパティを入力します。

   HubDBデータソースへの接続には、パブリックHubSpotアプリケーションを使用したOAuth認証とプライベートアプリケーショントークンを使用した認証の2つの方法があります。

   カスタムOAuthアプリを使用する

   すべてのOAuthフローでAuthSchemeを"OAuth"に設定する必要があります。特定の認証ニーズ（デスクトップアプリケーション、Webアプリケーション、ヘッドレスマシン）に必要な接続プロパティについては、ヘルプドキュメントを確認してください。

   アプリケーションを登録し、OAuthクライアント認証情報を取得するには、以下の手順を実行してください。

   1. HubSpotアプリ開発者アカウントにログインします。
      • アプリ開発者アカウントである必要があります。標準のHubSpotアカウントではパブリックアプリを作成できません。
   2. 開発者アカウントのホームページで、アプリタブをクリックします。
   3. アプリを作成をクリックします。
   4. アプリ情報タブで、ユーザーが接続する際に表示される値を入力し、必要に応じて変更します。これらの値には、パブリックアプリケーション名、アプリケーションロゴ、アプリケーションの説明が含まれます。
   5. 認証タブで、「リダイレクトURL」ボックスにコールバックURLを入力します。
      • デスクトップアプリケーションを作成する場合は、http://localhost:33333のようなローカルにアクセス可能なURLに設定します。
      • Webアプリケーションを作成する場合は、ユーザーがアプリケーションを承認した際にリダイレクトされる信頼できるURLに設定します。
   6. アプリを作成をクリックします。HubSpotがアプリケーションとそれに関連する認証情報を生成します。
   7. 認証タブで、クライアントIDとクライアントシークレットを確認します。これらは後でドライバーを設定する際に使用します。

   8. スコープの下で、アプリケーションの意図する機能に必要なスコープを選択します。

      テーブルにアクセスするには、最低限以下のスコープが必要です：

      • hubdb
      • oauth
      • crm.objects.owners.read
   9. 変更を保存をクリックします。
   10. 統合に必要な機能にアクセスできる本番ポータルにアプリケーションをインストールします。
       • 「インストールURL（OAuth）」の下で、完全なURLをコピーをクリックして、アプリケーションのインストールURLをコピーします。
       • コピーしたリンクをブラウザで開きます。アプリケーションをインストールする標準アカウントを選択します。
       • アプリを接続をクリックします。結果のタブは閉じて構いません。

   プライベートアプリを使用する

   HubSpotプライベートアプリケーショントークンを使用して接続するには、AuthSchemeプロパティを"PrivateApp"に設定します。

   以下の手順に従ってプライベートアプリケーショントークンを生成できます：

   1. HubDBアカウントで、メインナビゲーションバーの設定アイコン（歯車）をクリックします。
   2. 左サイドバーメニューで、統合 > プライベートアプリに移動します。
   3. プライベートアプリを作成をクリックします。
   4. 基本情報タブで、アプリケーションの詳細（名前、ロゴ、説明）を設定します。
   5. スコープタブで、プライベートアプリケーションがアクセスできるようにしたい各スコープに対して読み取りまたは書き込みを選択します。
   6. テーブルにアクセスするには、最低限hubdbとcrm.objects.owners.readが必要です。
   7. アプリケーションの設定が完了したら、右上のアプリを作成をクリックします。
   8. アプリケーションのアクセストークンに関する情報を確認し、作成を続行をクリックし、その後トークンを表示をクリックします。
   9. コピーをクリックして、プライベートアプリケーショントークンをコピーします。

   接続するには、PrivateAppTokenを取得したプライベートアプリケーショントークンに設定します。

   
4. Save & Test をクリック
5. Add HubDB Connection ページで Permissions タブに移動し、ユーザーベースの権限を更新します。

Personal Access Token を追加

REST API、OData API、または仮想 SQL Server 経由で Connect AI に接続する場合、Personal Access Token（PAT）が Connect AI への接続認証に使用されます。アクセスの粒度を維持するため、サービスごとに個別の PAT を作成することをお勧めします。

1. Connect AI アプリの右上にある歯車アイコン（）をクリックして Settings ページを開きます。
2. Settings ページで Access Tokens セクションに移動し、 Create PAT をクリック。
3. PAT に名前を付けて Create をクリック。
4. Personal Access Token は作成時にのみ表示されるので、必ずコピーして安全な場所に保存してください。

接続の設定と PAT の生成が完了したら、Cloud Data Fusion からHubDB のデータに接続する準備が整いました。

Cloud Data Fusion から HubDB に接続

以下の手順に従って、CData Connect AI JDBC ドライバーを介して Cloud Data Fusion から HubDB への接続を確立します：

1. CData Connect AI JDBC ドライバーをダウンロード・インストール：
   1. CData Connect AI の Integrations ページを開きます。
   2. JDBC を検索・選択します。
   3. セットアップファイルをダウンロードして実行します。
   4. インストールが完了したら、インストールディレクトリ（例：C:\Program Files\CData\JDBC Driver for CData Connect\lib）から JAR ファイル（cdata.jdbc.connect.jar）をコピーします。
2. Cloud Data Fusion にログイン。
3. 右上の緑色の「+」ボタンをクリックしてエンティティを追加。
4. Driver の下で Upload をクリック。
5. CData Connect AI JDBC ドライバー（JAR ファイル）をアップロード。
6. ドライバー設定を入力：
   • Name：ドライバー名を入力
   • Class name：「cdata.jdbc.connect.ConnectDriver」 と入力
   • Version：ドライバーのバージョンを入力
   • Description（オプション）：ドライバーの説明を入力
7. Finish をクリック。
8. ソース設定を入力：
   • Label：接続を識別するための名前
   • JDBC driver name：ステップ 6 で設定したドライバーを識別する JDBC ドライバー名を入力
   • Connection string：JDBC 接続文字列を入力（例：

     jdbc:connect:AuthScheme=Basic;user=username;password=PAT;

   • User：CData Connect AI のユーザー名（CData Connect AI インターフェースの右上に表示）を入力（例：「[email protected]」）
   • Password：Settings ページで生成した PAT を入力
9. 右上の Validate をクリック。
10. 接続が成功したら、UI を通じてパイプラインを編集・管理できます。
11. 作成したパイプラインを実行。

トラブルシューティング

Cloud Data Fusion では、ソースデータの 「int」 型が自動的に 「long」 にキャストされる既知の問題があることにご注意ください。

クラウドアプリケーションから HubDB のデータ へのリアルタイムアクセス

これで、Google Cloud Data Fusion からリアルタイムのHubDB のデータへの直接接続が確立されました。HubDB のデータ をレプリケーションすることなく、さまざまなソースと同期先間でデータをスムーズに移動できる接続を追加作成し、データ統合プロセスを効率化できます。

クラウドアプリケーションから HubDB を含む 数百種類の SaaS、ビッグデータ、NoSQL ソースへのリアルタイムデータアクセスについては、CData Connect AI をご覧ください。