Databricks（AWS）でGoogle Translate のデータを処理・分析

Jerod Johnson
Director, Technology Evangelism

CData、AWS、Databricks を使用して、リアルタイムGoogle Translate のデータに対してデータエンジニアリングとデータサイエンスを実行。

Databricks は、Apache Spark を通じたデータ処理機能を提供するクラウドベースのサービスです。CData JDBC Driver と組み合わせることで、Databricks を使用してリアルタイムGoogle Translate のデータに対してデータエンジニアリングとデータサイエンスを実行できます。この記事では、AWS でCData JDBC Driver をホストし、Databricks でリアルタイムGoogle Translate のデータに接続して処理する方法を説明します。

最適化されたデータ処理が組み込まれたCData JDBC Driver は、リアルタイムGoogle Translate のデータを扱う上で比類のないパフォーマンスを提供します。Google Translate に複雑なSQL クエリを発行すると、ドライバーはフィルタや集計などのサポートされているSQL 操作をGoogle Translate に直接プッシュし、サポートされていない操作（主にSQL 関数やJOIN 操作）は組み込みSQL エンジンを利用してクライアント側で処理します。組み込みの動的メタデータクエリを使用すると、ネイティブデータ型を使ってGoogle Translate のデータを操作・分析できます。

CData JDBC Driver をDatabricks にインストール

Databricks でリアルタイムGoogle Translate のデータを操作するには、Databricks クラスターにドライバーをインストールします。

Databricks の管理画面に移動し、対象のクラスターを選択します。
Libraries タブで「Install New」をクリックします。
Library Source として「Upload」を選択し、Library Type として「Jar」を選択します。
インストール場所（通常はC:\Program Files\CData[product_name]\lib）からJDBC JAR ファイル（cdata.jdbc.api.jar）をアップロードします。

ノートブックでGoogle Translate のデータにアクセス：Python

JAR ファイルをインストールしたら、Databricks でリアルタイムGoogle Translate のデータを操作する準備が整いました。ワークスペースに新しいノートブックを作成します。ノートブックに名前を付け、言語としてPython を選択し（Scala も利用可能）、JDBC ドライバーをインストールしたクラスターを選択します。ノートブックが起動したら、接続を設定し、Google Translate をクエリして、基本的なレポートを作成できます。

Google Translate への接続を設定

JDBC Driver クラスを参照し、JDBC URL で使用する接続文字列を構築してGoogle Translate に接続します。また、JDBC URL でRTK プロパティを設定する必要があります（Beta ドライバーを使用している場合を除く）。このプロパティの設定方法については、インストールに含まれるライセンスファイルを参照してください。

ステップ1：接続情報

driver = "cdata.jdbc.api.APIDriver"
url = "jdbc:api:RTK=5246...;Profile=C:\profiles\GoogleTranslate.apip;AuthScheme=OAuth;InitiateOAuth=GETANDREFRESH;OAuthClientId=your_client_id;OAuthClientSecret=your_client_secret;CallbackUrl=your_callback_url;"

組み込みの接続文字列デザイナー

JDBC URL の作成をサポートするために、Google Translate JDBC Driver に組み込まれている接続文字列デザイナーが使用できます。JAR ファイルをダブルクリックするか、コマンドラインからJAR ファイルを実行します。

java -jar cdata.jdbc.api.jar

接続プロパティを入力し、接続文字列をクリップボードにコピーします。

認証

Google Cloud Translation API では、翻訳サービス、データセット、用語集、適応型 MT リソースへの安全なアクセスを確保するために、OAuth 2.0 認証が必要です。この認証方式により、Google Cloud プロジェクトに安全に接続し、適切な認可のもとで翻訳リソースを管理できます。

OAuth 2.0 のセットアップと設定

ステップ 1：Google Cloud プロジェクトの作成と API の有効化

OAuth 認証をセットアップするには、以下のステップで進めます：

Google Cloud Console にアクセスします
新しいプロジェクトを作成するか、既存のプロジェクトを選択します
Project ID を控えておきます（すべての API 呼び出しで必要です）
「APIs & Services」 > 「Library」に移動します
「Cloud Translation API」を検索して有効化します
「APIs & Services」 > 「Credentials」に移動します
「Create Credentials」をクリックし、「OAuth Client ID」を選択します
プロンプトが表示されたら OAuth 同意画面を設定します
用途に応じて「Desktop application」または「Web application」を選択します
承認済みリダイレクト URI（CallbackURL）を設定します
接続で使用する Client ID と Client Secret をコピーします

必須の接続プロパティ

AuthScheme：OAuth に設定します（必須）
OAuthClientId：Google Cloud Console の Client ID（必須）
OAuthClientSecret：Google Cloud Console の Client Secret（必須）
CallbackURL：OAuth アプリケーションで指定したリダイレクト URI（必須）
InitiateOAuth：トークンを自動管理するには GETANDREFRESH に設定します（推奨）
ProjectId：Google Cloud のプロジェクト ID またはプロジェクト番号（クエリに必須）

必須の OAuth スコープ

Google Cloud Translation API プロファイルでは、以下の OAuth スコープが必要です：

https://www.googleapis.com/auth/cloud-translation - 翻訳、データセット、用語集、適応型 MT を含む Cloud Translation API リソースへのフルアクセス

組み込みの接続文字列デザイナーを使ってJDBC URL を生成（Salesforce の場合）

Google Translate のデータをロード

接続を設定したら、CData JDBC Driver と接続情報を使用して、Google Translate のデータをDataFrame としてロードできます。

ステップ2：データの読み取り

remote_table = spark.read.format ( "jdbc" ) \
	.option ( "driver" , driver) \
	.option ( "url" , url) \
	.option ( "dbtable" , "SupportedLanguages") \
	.load ()

Google Translate のデータを表示

ロードしたGoogle Translate のデータをdisplay 関数を呼び出して確認します。

ステップ3：結果の確認

display (remote_table.select ("LanguageCode"))

Databricks でGoogle Translate のデータを分析

Databricks SparkSQL でデータを処理するには、ロードしたデータをTemp View として登録します。

ステップ4：ビューまたはテーブルを作成

remote_table.createOrReplaceTempView ( "SAMPLE_VIEW" )

Temp View を作成したら、SparkSQL を使用してGoogle Translate のデータをレポート、ビジュアライゼーション、分析用に取得できます。

% sql

SELECT LanguageCode, DisplayName FROM SAMPLE_VIEW ORDER BY DisplayName DESC LIMIT 5

Google Translate からのデータは、対象のノートブックでのみ利用可能です。他のユーザーと共有したい場合は、テーブルとして保存します。

remote_table.write.format ( "parquet" ) .saveAsTable ( "SAMPLE_TABLE" )

CData API Driver for JDBC の30日間無償トライアルをダウンロードして、Databricks でリアルタイムGoogle Translate のデータの操作をはじめましょう。ご不明な点があれば、サポートチームにお問い合わせください。

はじめる準備はできましたか？

API Driver で Google Translate のライブデータに接続

Google Translate に接続

CData は、AI を本番環境で機能させるデータレイヤーです。数百の主要エンタープライズソースへのライブコネクティビティとレプリケーション、セマンティックコンテキスト、組み込みガバナンスを提供。Databricks、Microsoft、Google、Palantir をはじめ、世界中の 10,000 以上のお客様の AI を支えています。

お問い合わせ