Azure Databricks でGoogle Translate のデータに接続してデータ処理を行う方法

Jerod Johnson
Jerod Johnson
Director, Technology Evangelism
CData JDBC Driver、Azure、Databricks を使用して、Google Translateのリアルタイムデータのデータエンジニアリングとデータサイエンスを実行。

Databricks は、Apache Spark によるデータ処理機能を提供するクラウドベースのサービスです。CData JDBC ドライバと組み合わせることで、Databricks を使用してリアルタイムGoogle Translate のデータのデータエンジニアリングとデータサイエンスを実行できます。この記事では、Azure で CData JDBC ドライバをホストし、Databricks からリアルタイムGoogle Translate のデータに接続してデータを処理する方法を説明します。

最適化されたデータ処理機能を組み込んだ CData JDBC ドライバは、リアルタイムGoogle Translate のデータとのインタラクションにおいて卓越したパフォーマンスを発揮します。Google Translate に対して複雑な SQL クエリを発行すると、ドライバーはフィルタや集計などのサポートされている SQL 操作を直接Google Translateにプッシュし、サポートされていない操作（主に SQL 関数や JOIN 操作）は組み込みの SQL エンジンを使用してクライアント側で処理します。動的メタデータクエリ機能により、ネイティブのデータ型を使用してGoogle Translate のデータの操作・分析が可能です。

CData JDBC ドライバを Azure にインストール

Databricks でリアルタイムGoogle Translate のデータを操作するには、Azure Data Lake Storage（ADLS）を通じてドライバーをインストールします。（以前のバージョンの記事で説明していた DBFS を介した接続方法は非推奨となっていますが、廃止日は公開されていません。）

  1. JDBC JAR ファイルを任意の Blob コンテナにアップロードします（例：「databrickslibraries」ストレージアカウントの「jdbcjars」コンテナ）。
  2. ストレージアカウントから「セキュリティとネットワーク」を展開し、「アクセスキー」をクリックしてアカウントキーを取得します。使用するキーを表示してコピーしてください。
  3. コンテナに移動し、JAR を保存している特定のコンテナを開き、JDBC JAR ファイルのエントリを選択して JAR ファイルの URL を取得します。ファイルの詳細が開き、URL をクリップボードにコピーするボタンがあります。この値は以下のようになります（「blob」の部分はストレージアカウントの種類によって異なる場合があります）： 
    https://databrickslibraries.blob.core.windows.net/jdbcjars/cdata.jdbc.salesforce.jar
  4. Databricks クラスターの「Configuration」タブで「Edit」ボタンをクリックし、「Advanced options」を展開します。そこで、以下の Spark オプション（JAR URL のドメイン名から派生）に、コピーしたアカウントキーを値として追加し、「Confirm」をクリックします： spark.hadoop.fs.azure.account.key.databrickslibraries.blob.core.windows.net
  5. Databricks クラスターの「Libraries」タブで「Install new」をクリックし、ADLS オプションを選択します。ドライバー JAR の ABFSS URL（これも JAR URL のドメイン名から派生）を指定し、「Install」をクリックします。ABFSS URL は以下のようになります： 
    abfss://[email protected]/cdata.jdbc.salesforce.jar

Databricks からGoogle Translateに接続

JAR ファイルがインストールされたら、Databricks でリアルタイムGoogle Translate のデータを操作する準備が整いました。まず、ワークスペースで新しいノートブックを作成します。ワークブックに名前を付け、言語として Python が選択されていることを確認し（デフォルトで選択されているはずです）、「Connect」をクリックして「General Compute」から JDBC ドライバーをインストールしたクラスターを選択します（デフォルトで選択されているはずです）。

Google Translateへの接続を設定

JDBC ドライバのクラスを参照し、JDBC URL で使用する接続文字列を構築してGoogle Translateに接続します。また、JDBC URL に RTK プロパティを設定する必要があります（Beta ドライバーを使用している場合を除く）。このプロパティの設定方法については、インストールに含まれるライセンスファイルを参照してください。

driver = "cdata.jdbc.api.APIDriver"
url = "jdbc:api:RTK=5246...;Profile=C:\profiles\GoogleTranslate.apip;AuthScheme=OAuth;InitiateOAuth=GETANDREFRESH;OAuthClientId=your_client_id;OAuthClientSecret=your_client_secret;CallbackUrl=your_callback_url;"

組み込みの接続文字列デザイナー

JDBC URL の構築には、Google Translate JDBC Driver に組み込まれている接続文字列デザイナーを使用できます。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行してください。

java -jar cdata.jdbc.api.jar

接続プロパティを入力し、接続文字列をクリップボードにコピーします。

認証

Google Cloud Translation API では、翻訳サービス、データセット、用語集、適応型 MT リソースへの安全なアクセスを確保するために、OAuth 2.0 認証が必要です。この認証方式により、Google Cloud プロジェクトに安全に接続し、適切な認可のもとで翻訳リソースを管理できます。

OAuth 2.0 のセットアップと設定

ステップ 1：Google Cloud プロジェクトの作成と API の有効化

OAuth 認証をセットアップするには、以下のステップで進めます：

  1. Google Cloud Console にアクセスします
  2. 新しいプロジェクトを作成するか、既存のプロジェクトを選択します
  3. Project ID を控えておきます（すべての API 呼び出しで必要です）
  4. 「APIs & Services」 > 「Library」に移動します
  5. 「Cloud Translation API」を検索して有効化します
  6. 「APIs & Services」 > 「Credentials」に移動します
  7. 「Create Credentials」をクリックし、「OAuth Client ID」を選択します
  8. プロンプトが表示されたら OAuth 同意画面を設定します
  9. 用途に応じて「Desktop application」または「Web application」を選択します
  10. 承認済みリダイレクト URI（CallbackURL）を設定します
  11. 接続で使用する Client ID と Client Secret をコピーします

必須の接続プロパティ

  • AuthScheme：OAuth に設定します（必須）
  • OAuthClientId：Google Cloud Console の Client ID（必須）
  • OAuthClientSecret：Google Cloud Console の Client Secret（必須）
  • CallbackURL：OAuth アプリケーションで指定したリダイレクト URI（必須）
  • InitiateOAuth：トークンを自動管理するには GETANDREFRESH に設定します（推奨）
  • ProjectId：Google Cloud のプロジェクト ID またはプロジェクト番号（クエリに必須）

必須の OAuth スコープ

Google Cloud Translation API プロファイルでは、以下の OAuth スコープが必要です：

  • https://www.googleapis.com/auth/cloud-translation - 翻訳、データセット、用語集、適応型 MT を含む Cloud Translation API リソースへのフルアクセス

Google Translate のデータの読み込み

接続を設定したら、CData JDBC ドライバと接続情報を使用してGoogle Translate のデータをデータフレームとして読み込むことができます。

remote_table = spark.read.format ( "jdbc" ) \
	.option ( "driver" , driver) \
	.option ( "url" , url) \
	.option ( "dbtable" , "SupportedLanguages") \
	.load ()

Google Translate のデータの表示

読み込んだGoogle Translate のデータを display 関数で確認してみましょう。

display (remote_table.select ("LanguageCode"))

Azure Databricks でGoogle Translate のデータを分析

Databricks SparkSQL でデータを処理したい場合は、読み込んだデータを一時ビューとして登録します。

remote_table.createOrReplaceTempView ( "SAMPLE_VIEW" )

以下の SparkSQL で分析用のGoogle Translate のデータを取得できます。

result = spark.sql("SELECT LanguageCode, DisplayName FROM SAMPLE_VIEW WHERE ProjectId = 'my-project-12345'")

Google Translate からのデータは、対象のノートブック内でのみ利用可能です。他のユーザーと共有したい場合は、テーブルとして保存してください。

remote_table.write.format ( "parquet" ) .saveAsTable ( "SAMPLE_TABLE" )

CData API Driver for JDBC の30日間の無償トライアルをダウンロードして、Azure Databricks でリアルタイムGoogle Translate のデータを活用してみてください。ご不明な点があれば、サポートチームまでお気軽にお問い合わせください。

はじめる準備はできましたか？

API Driver で Google Translate のライブデータに接続

Google Translate に接続

この記事の内容

関連記事