CData Connect AI を使用して Google Cloud Data Fusion でリアルタイムの BigQuery のデータ パイプラインを構築

Mohsin Turki
Mohsin Turki
Technical Marketing Engineer
CData Connect AI を使用して Google Cloud Data Fusion から BigQuery に接続し、リアルタイムのBigQuery のデータを活用した効果的なデータパイプラインを構築・管理します。

Google Cloud Data Fusion は、ビジュアルインターフェースを使用してさまざまなソースと同期先間でデータを接続、変換、移動できるため、データパイプラインの構築と管理を簡素化します。CData Connect AI と組み合わせることで、ELT/ETL データパイプラインの構築と管理にBigQuery のデータへのアクセスが可能になります。この記事では、CData Connect AI を使用して BigQuery へのライブ接続を作成する方法と、Cloud Data Fusion プラットフォームからリアルタイムのBigQuery のデータに接続・アクセスする方法を説明します。

BigQuery データ連携について

CData は、Google BigQuery のライブデータへのアクセスと統合を簡素化します。お客様は CData の接続機能を以下の目的で活用しています：

  • OAuth、OAuth JWT、GCP インスタンスなど、すぐに使える幅広い認証スキームのサポートにより、BigQuery へのアクセスを簡素化します。
  • BigQuery と他のアプリケーション間の双方向データアクセスにより、データワークフローを強化します。
  • SQL ストアドプロシージャを通じて、ジョブの開始・取得・キャンセル、テーブルの削除、ジョブロードの挿入など、主要な BigQuery アクションを実行できます。

多くの CData のお客様は、Google BigQuery をデータウェアハウスとして使用しており、CData ソリューションを使用して、別々のソースからビジネスデータを BigQuery に移行し、包括的な分析を行っています。また、BigQuery データの分析やレポート作成に当社の接続機能を使用するお客様も多く、両方のソリューションを使用しているお客様も多数います。

CData が Google BigQuery 体験をどのように向上させるかについての詳細は、ブログ記事をご覧ください：https://jp.cdata.com/blog/what-is-bigquery


はじめに


Cloud Data Fusion 用の BigQuery 接続を設定

Cloud Data Fusion から BigQuery への接続は、CData Connect AI によって実現されます。Cloud Data Fusion からBigQuery のデータを扱うには、まず BigQuery 接続を作成・設定します。

  1. Connect AI にログインし、Sources をクリック、次に Add Connection をクリック
  2. Add Connection パネルから「BigQuery」を選択
  3. BigQuery に接続するために必要な認証プロパティを入力します。

    BigQuery 接続プロパティの取得・設定方法

    Google BigQuery はOAuth 認証標準を使用します。個々のユーザーとしてGoogle API にアクセスするには、組み込みクレデンシャルを使うか、OAuth アプリを作成します。

    OAuth では、Google Apps ドメインのユーザーとしてサービスアカウントを使ってアクセスすることもできます。サービスカウントでの認証では、OAuth JWT を取得するためのアプリケーションを登録する必要があります。

    OAuth 値に加え、DatasetId、ProjectId を設定する必要があります。詳細はヘルプドキュメントの「はじめに」を参照してください。

  4. Save & Test をクリック
  5. Add BigQuery Connection ページで Permissions タブに移動し、ユーザーベースの権限を更新します。

Personal Access Token を追加

REST API、OData API、または仮想 SQL Server 経由で Connect AI に接続する場合、Personal Access Token（PAT）が Connect AI への接続認証に使用されます。アクセスの粒度を維持するため、サービスごとに個別の PAT を作成することをお勧めします。

  1. Connect AI アプリの右上にある歯車アイコン（）をクリックして Settings ページを開きます。
  2. Settings ページで Access Tokens セクションに移動し、 Create PAT をクリック。
  3. PAT に名前を付けて Create をクリック。
  4. Personal Access Token は作成時にのみ表示されるので、必ずコピーして安全な場所に保存してください。

接続の設定と PAT の生成が完了したら、Cloud Data Fusion からBigQuery のデータに接続する準備が整いました。

Cloud Data Fusion から BigQuery に接続

以下の手順に従って、CData Connect AI JDBC ドライバーを介して Cloud Data Fusion から BigQuery への接続を確立します：

  1. CData Connect AI JDBC ドライバーをダウンロード・インストール：
    1. CData Connect AI の Integrations ページを開きます。
    2. JDBC を検索・選択します。
    3. セットアップファイルをダウンロードして実行します。
    4. インストールが完了したら、インストールディレクトリ（例：C:\Program Files\CData\JDBC Driver for CData Connect\lib）から JAR ファイル（cdata.jdbc.connect.jar）をコピーします。
  2. Cloud Data Fusion にログイン。
  3. 右上の緑色の「+」ボタンをクリックしてエンティティを追加。
  4. Driver の下で Upload をクリック。
  5. CData Connect AI JDBC ドライバー（JAR ファイル）をアップロード。
  6. ドライバー設定を入力：
    • Name：ドライバー名を入力
    • Class name：「cdata.jdbc.connect.ConnectDriver」 と入力
    • Version：ドライバーのバージョンを入力
    • Description（オプション）：ドライバーの説明を入力
  7. Finish をクリック。
  8. ソース設定を入力：
    • Label：接続を識別するための名前
    • JDBC driver name：ステップ 6 で設定したドライバーを識別する JDBC ドライバー名を入力
    • Connection string：JDBC 接続文字列を入力（例： 
      jdbc:connect:AuthScheme=Basic;user=username;password=PAT;
    • User：CData Connect AI のユーザー名（CData Connect AI インターフェースの右上に表示）を入力（例：「[email protected]」）
    • Password：Settings ページで生成した PAT を入力
  9. 右上の Validate をクリック。
  10. 接続が成功したら、UI を通じてパイプラインを編集・管理できます。
  11. 作成したパイプラインを実行。

トラブルシューティング

Cloud Data Fusion では、ソースデータの 「int」 型が自動的に 「long」 にキャストされる既知の問題があることにご注意ください。

クラウドアプリケーションから BigQuery のデータ へのリアルタイムアクセス

これで、Google Cloud Data Fusion からリアルタイムのBigQuery のデータへの直接接続が確立されました。BigQuery のデータ をレプリケーションすることなく、さまざまなソースと同期先間でデータをスムーズに移動できる接続を追加作成し、データ統合プロセスを効率化できます。

クラウドアプリケーションから BigQuery を含む 300 以上の SaaS、ビッグデータ、NoSQL ソースへのリアルタイムデータアクセスについては、CData Connect AI をご覧ください。

はじめる準備はできましたか？

CData Connect AI の詳細、または無料トライアルにお申し込みください：

無料トライアル お問い合わせ

この記事の内容

関連記事