Google Cloud Data Fusion でGoogle Translate のデータを扱う方法：CData JDBC Driver
Google Cloud Data Fusion は、ノーコードでデータ連携の設定が可能な言わば GCP の ETL ツール（サービス）です。たくさんのコネクタや変換・分析機能がデフォルトで用意されているため、さまざまなデータソースを色々な組み合わせで扱うことが可能なようです。 また JDBC を扱うこともできるため、この記事では、CData JDBC Driver for Google Translate のデータ を使って、Google Translate のデータ データをCloud Data Fusion でGoogle BigQuery にノーコードでパイプラインします。
Cloud Data Fusion の準備
まずはCloud Data Fusion のインスタンスを作成します。
- Data Fusion のトップ画面にある「CREATE INSTANCE」からインスタンスを作成します。
- 作成されたインスタンス名を先ほどの画面でクリックすると以下の画面に遷移しますので、画面下部にある Service Account をコピーします。
- 画面上部にある追加からメンバーを追加します。メンバー名は先ほどコピーした「Service Account」に合わせてください。 役割は BiqQuery へもアクセスしますので、「BigQuery 管理者」、「Cloud Data Fusion 管理者」、「Cloud Data Fusion API サービス エージェント」を付与します。
CData JDBC Driver for API のアップロード
ここからは実際に、Data Fusion の設定をしていきます。 まずは JDBC Driver をアップロードを行います。
- 「View Instance」をクリックして、Data Fusion の Control Center を開きます。
- Control Center が表示されたら、「＋」ボタンをクリックして JDBC Driver をアップロードしていきます。
- Name：アップロードしたドライバーに設定する名前
- Class name：cdata.jdbc.api.APIDriver
- アップロードする際の注意点として、Driver のファイル名を name-version の形式に変更してアップロードする必要があります。 なお、jarファイルをダブルクリックした際に表示されているバージョンをもとに「api-connector-java-19.0.7115.0.jar」に変更しました。
- アップロードが成功するとこのような画面が表示されるので、「Create a Pipeline」をクリックします。
Google Translate からGoogle BigQuery へのパイプラインの作成
Data Fusion のパイプライン作成
インプット元はサイドメニューの「Source」から選択します。今回は先ほどアップロードした Google Translate のデータ の JDBC Driver を使用するため、「DataBase」を選択します。 アウトプット先は同じくサイドメニューより「Sink」→「BigQuery」を選択します。
「DataBase」の設定
「DataBase」のアイコンにカーソルを持ってくるとプロパティというボタンが表示されるのでクリックし、下記内容を設定します。
- Label：API
- Reference Name：API
- Plugin Name：API Driver（Driver をアップロードした際の名前）
- Plugin Type：jdbc
- Connection String：API へ接続する際の JDBC URL
- Import Query：インプットしたいデータを抽出するクエリ
認証
Google Cloud Translation API では、翻訳サービス、データセット、用語集、適応型 MT リソースへの安全なアクセスを確保するために、OAuth 2.0 認証が必要です。この認証方式により、Google Cloud プロジェクトに安全に接続し、適切な認可のもとで翻訳リソースを管理できます。
OAuth 2.0 のセットアップと設定
ステップ 1：Google Cloud プロジェクトの作成と API の有効化
OAuth 認証をセットアップするには、以下のステップで進めます：
- Google Cloud Console にアクセスします
- 新しいプロジェクトを作成するか、既存のプロジェクトを選択します
- Project ID を控えておきます（すべての API 呼び出しで必要です）
- 「APIs & Services」 > 「Library」に移動します
- 「Cloud Translation API」を検索して有効化します
- 「APIs & Services」 > 「Credentials」に移動します
- 「Create Credentials」をクリックし、「OAuth Client ID」を選択します
- プロンプトが表示されたら OAuth 同意画面を設定します
- 用途に応じて「Desktop application」または「Web application」を選択します
- 承認済みリダイレクト URI（CallbackURL）を設定します
- 接続で使用する Client ID と Client Secret をコピーします
必須の接続プロパティ
- AuthScheme：OAuth に設定します（必須）
- OAuthClientId：Google Cloud Console の Client ID（必須）
- OAuthClientSecret：Google Cloud Console の Client Secret（必須）
- CallbackURL：OAuth アプリケーションで指定したリダイレクト URI（必須）
- InitiateOAuth：トークンを自動管理するには GETANDREFRESH に設定します（推奨）
- ProjectId：Google Cloud のプロジェクト ID またはプロジェクト番号（クエリに必須）
必須の OAuth スコープ
Google Cloud Translation API プロファイルでは、以下の OAuth スコープが必要です：
- https://www.googleapis.com/auth/cloud-translation - 翻訳、データセット、用語集、適応型 MT を含む Cloud Translation API リソースへのフルアクセス
Connection String は以下の形式です。
jdbc:api:Profile=C:\profiles\GoogleTranslate.apip;AuthScheme=OAuth;InitiateOAuth=GETANDREFRESH;OAuthClientId=your_client_id;OAuthClientSecret=your_client_secret;CallbackUrl=your_callback_url;InitiateOAuth=GETANDREFRESH
上のキャプチャの赤枠は、Salesforce から BigQuery へアウトプットするデータの定義となります。 こちらは「Import Query」のすぐ右上にある「Get Schema」をクリックすると下の画面が表示されますので、「Import Query」で入力したクエリを実行し、カラムを定義します。
「BigQuery」の設定
こちらも同様に BigQuery のプロパティから下記内容を設定します。
- Label：BigQuery
- Reference Name：BigQuery
- Project ID：使用するProject ID
- DataSet：使用するDataSet
- Table：使用するテーブル名、例：Account_DataFusion
作成したGoogle Translate のデータ からBigQuery のパイプラインの実行
まずは作成したパイプラインをデプロイします。赤枠の「Deploy」ボタンをクリックしてデプロイを行います。
デプロイ完了後、Runボタンが表示されますので、クリックします。
このようにCData JDBC ドライバをアップロードすることで、簡単にGoogle Cloud Data Fusion でGoogle Translate のデータ データをノーコードで連携し、BigQuery などへのパイプラインを作成することができます。
是非、CData JDBC Driver for API 30日の無償評価版 をダウンロードして、お試しください。