Jitterbit でライブ BigQuery のデータと連携
Jitterbit は、データワークフローを効率化できるエンタープライズ iPaaS(Integration Platform as a Service)です。CData Connect AI と組み合わせることで、Jitterbit からライブ BigQuery のデータ にアクセスできます。この記事では、Connect AI を使用して BigQuery に接続し、Jitterbit でライブ BigQuery のデータ と連携する方法を説明します。
CData Connect AI は BigQuery 用の純粋な OData インターフェースを提供し、ネイティブにサポートされているデータベースにデータをレプリケーションすることなく、BigQuery からデータをクエリできます。CData Connect AI は最適化されたデータ処理機能を標準で備えており、サポートされているすべての SQL 操作(フィルタ、JOIN など)を BigQuery に直接プッシュし、サーバーサイド処理を活用して、リクエストされた BigQuery のデータ を迅速に返します。
BigQuery データ連携について
CData は、Google BigQuery のライブデータへのアクセスと統合を簡素化します。お客様は CData の接続機能を以下の目的で活用しています:
- OAuth、OAuth JWT、GCP インスタンスなど、すぐに使える幅広い認証スキームのサポートにより、BigQuery へのアクセスを簡素化します。
- BigQuery と他のアプリケーション間の双方向データアクセスにより、データワークフローを強化します。
- SQL ストアドプロシージャを通じて、ジョブの開始・取得・キャンセル、テーブルの削除、ジョブロードの挿入など、主要な BigQuery アクションを実行できます。
多くの CData のお客様は、Google BigQuery をデータウェアハウスとして使用しており、CData ソリューションを使用して、別々のソースからビジネスデータを BigQuery に移行し、包括的な分析を行っています。また、BigQuery データの分析やレポート作成に当社の接続機能を使用するお客様も多く、両方のソリューションを使用しているお客様も多数います。
CData が Google BigQuery 体験をどのように向上させるかについての詳細は、ブログ記事をご覧ください:https://jp.cdata.com/blog/what-is-bigquery
はじめに
Jitterbit 向けに BigQuery 接続を構成
Jitterbit から BigQuery のデータ を操作するには、Connect AI から BigQuery に接続し、ユーザーにアクセス権を付与し、BigQuery のデータ 用のワークスペースを作成する必要があります。
Connect AI から BigQuery に接続
CData Connect AI は、シンプルなポイント&クリック インターフェースを使用してデータソースに接続します。
- Connect AI にログインし、Sources をクリックして、 Add Connection をクリックします。
- Add Connection パネルから「BigQuery」を選択します。
-
BigQuery に接続するために必要な認証プロパティを入力します。
BigQuery 接続プロパティの取得・設定方法
Google BigQuery はOAuth 認証標準を使用します。個々のユーザーとしてGoogle API にアクセスするには、組み込みクレデンシャルを使うか、OAuth アプリを作成します。
OAuth では、Google Apps ドメインのユーザーとしてサービスアカウントを使ってアクセスすることもできます。サービスカウントでの認証では、OAuth JWT を取得するためのアプリケーションを登録する必要があります。
OAuth 値に加え、DatasetId、ProjectId を設定する必要があります。詳細はヘルプドキュメントの「はじめに」を参照してください。
- Save & Test をクリックします。
-
Add BigQuery Connection ページの Permissions タブに移動し、User-based permissions を更新します。
パーソナルアクセストークンの追加
REST API、OData API、または仮想 SQL Server を介して Connect AI に接続する場合、パーソナルアクセストークン(PAT)を使用して Connect AI への接続を認証します。アクセスの粒度を維持するために、サービスごとに別々の PAT を作成することをお勧めします。
- Connect AI アプリの右上にある歯車アイコン()をクリックして、設定ページを開きます。
- Settings ページで Access Tokens セクションに移動し、 Create PAT をクリックします。
-
PAT に名前を付け、Create をクリックします。
- パーソナルアクセストークンは作成時にのみ表示されるため、必ずコピーして安全な場所に保存してください。
Jitterbit 向けに BigQuery エンドポイントを構成
BigQuery に接続した後、目的のテーブル用のワークスペースを作成します。
-
Workspaces ページに移動し、 Add をクリックして新しいワークスペースを作成します(または既存のワークスペースを選択します)。
- Add をクリックして、ワークスペースに新しいアセットを追加します。
-
BigQuery 接続(例:GoogleBigQuery1)を選択し、Next をクリックします。
-
操作するテーブルを選択し、Confirm をクリックします。
- ワークスペースの OData Service URL(例:https://cloud.cdata.com/api/odata/{workspace_name})をメモしておきます。
接続、PAT、およびワークスペースの構成が完了すると、Jitterbit から BigQuery のデータ に接続する準備が整います。
Connect AI を使用して Jitterbit から BigQuery に接続
OData プロトコルを使用して Jitterbit から CData Connect AI への接続を確立するには、以下の手順に従います。
- Jitterbit にログインします。
- Cloud Studio でプロジェクトを作成し、ワークスペース環境を設定します。
- Sources をクリックし、検索バーに OData と入力します。
- OData コネクタを選択します。
- OData 接続プロパティを入力します。
- Connection Name:接続名を入力します。
- OData Metadata URL:https://cloud.cdata.com/api/odata/{workspace_name} と入力します。
- Authentication:Basic Auth を選択します。
- User Name:CData Connect AI のユーザー名を入力します。これは CData Connect AI インターフェースの右上に表示されます(例:[email protected])。
- Password:Settings ページで生成した PAT を入力します。
- Test をクリックして接続をテストし、Save Changes をクリックします。
- 実行する操作を選択し、プロジェクトのワークフローにドラッグします。
- クエリ操作をダブルクリックすると、OData エンドポイントで使用可能なすべてのテーブルと派生ビューが表示されます。
- テーブルを選択し、クエリを構成します。
これで、Jitterbit でライブ BigQuery のデータ を変換・連携できます。
CData Connect AI の入手
Jitterbit から 300 以上の SaaS、ビッグデータ、NoSQL ソースへのリアルタイムデータアクセスを実現するには、 CData Connect AI をぜひお試しください!