Elasticsearch へLogstash 経由でGoogle Translate のデータをロードする方法
Elasticsearch は、人気の分散型全文検索エンジンです。データを一元的に格納することで、超高速検索や、関連性の細かな調整、パワフルな分析が大規模に、手軽に実行可能になります。Elasticsearch にはデータのローディングを行うパイプラインツール「Logstash」があります。CData Drivers を利用することができるので、30日の無償評価版をダウンロードしてあらゆるデータソースを簡単にElasticsearch に取り込んで検索・分析を行うことができます。
この記事では、CData Driver for API を使って、Google Translate のデータをLogstash 経由でElasticsearch にロードする手順を説明します。
Elasticsearch Logstash でCData JDBC Driver for API を使用
- CData JDBC Driver for API をLogstash が稼働するマシンにインストールします。
-
以下のパスにJDBC Driver がインストールされます（2022J の部分はご利用される製品バージョンによって異なります）。後ほどこのパスを使います。この.jar ファイル（製品版の場合は.lic ファイルも）をLogstash に配置します。
C:\Program Files\CData\CData JDBC Driver for API 2022J\lib\cdata.jdbc.api.jar
- 次に、Logstash とCData JDBC ドライバをつなぐ、JDBC Input Plugin をインストールします。JDBC Plugin は最新のLogstash だとデフォルトでついてきますが、バージョンによっては追加する必要があります。
https://www.elastic.co/guide/en/logstash/5.4/plugins-inputs-jdbc.html - CData JDBC ドライバの.jar ファイルと.lic ファイルを、Logstashの「/logstash-core/lib/jars/」に移動します。
Logstash でElasticsearch にGoogle Translate のデータを送る
それでは、Logstash でElasticsearch にGoogle Translate のデータの転送を行うための設定ファイルを作成していきます。
- Logstash のデータ処理定義であるlogstash.conf ファイルにGoogle Translate のデータを取得する処理を書きます。Input はJDBC、Output はElasticsearch にします。データローディングジョブの起動間隔は30秒に設定しています。
- CData JDBC ドライバの.jar をjdbc driver ライブラリにして、クラス名を設定、Google Translate への接続プロパティをJDBC URL の形でせっていします。JDBC URL ではほかにも詳細な設定を行うことができるので、細かくは製品ドキュメントをご覧ください。
- Google Cloud Console にアクセスします
- 新しいプロジェクトを作成するか、既存のプロジェクトを選択します
- Project ID を控えておきます（すべての API 呼び出しで必要です）
- 「APIs & Services」 > 「Library」に移動します
- 「Cloud Translation API」を検索して有効化します
- 「APIs & Services」 > 「Credentials」に移動します
- 「Create Credentials」をクリックし、「OAuth Client ID」を選択します
- プロンプトが表示されたら OAuth 同意画面を設定します
- 用途に応じて「Desktop application」または「Web application」を選択します
- 承認済みリダイレクト URI（CallbackURL）を設定します
- 接続で使用する Client ID と Client Secret をコピーします
- AuthScheme：OAuth に設定します（必須）
- OAuthClientId：Google Cloud Console の Client ID（必須）
- OAuthClientSecret：Google Cloud Console の Client Secret（必須）
- CallbackURL：OAuth アプリケーションで指定したリダイレクト URI（必須）
- InitiateOAuth：トークンを自動管理するには GETANDREFRESH に設定します（推奨）
- ProjectId：Google Cloud のプロジェクト ID またはプロジェクト番号（クエリに必須）
- https://www.googleapis.com/auth/cloud-translation - 翻訳、データセット、用語集、適応型 MT を含む Cloud Translation API リソースへのフルアクセス
認証
Google Cloud Translation API では、翻訳サービス、データセット、用語集、適応型 MT リソースへの安全なアクセスを確保するために、OAuth 2.0 認証が必要です。この認証方式により、Google Cloud プロジェクトに安全に接続し、適切な認可のもとで翻訳リソースを管理できます。
OAuth 2.0 のセットアップと設定
ステップ 1：Google Cloud プロジェクトの作成と API の有効化
OAuth 認証をセットアップするには、以下のステップで進めます：
必須の接続プロパティ
必須の OAuth スコープ
Google Cloud Translation API プロファイルでは、以下の OAuth スコープが必要です：
input {
jdbc {
jdbc_driver_library => "../logstash-core/lib/jars/cdata.jdbc.api.jar"
jdbc_driver_class => "Java::cdata.jdbc.api.APIDriver"
jdbc_connection_string => "jdbc:api:Profile=C:\profiles\GoogleTranslate.apip;AuthScheme=OAuth;InitiateOAuth=GETANDREFRESH;OAuthClientId=your_client_id;OAuthClientSecret=your_client_secret;CallbackUrl=your_callback_url;InitiateOAuth=REFRESH"
jdbc_user => ""
jdbc_password => ""
schedule => "*/30 * * * * *"
statement => "SELECT LanguageCode, DisplayName FROM SupportedLanguages WHERE ProjectId = 'my-project-12345'"
}
}
output {
Elasticsearch {
index => "api_SupportedLanguages"
document_id => "xxxx"
}
}
Logstash でGoogle Translate のローディングを実行
それでは作成した「logstash.conf」ファイルを元にLogstash を実行してみます。
> logstash-7.8.0\bin\logstash -f logstash.conf
成功した旨のログが出ます。これでGoogle Translate のデータがElasticsearch にロードされました。
例えばKibana で実際にElasticsearch に転送されたデータを見てみます。
GET api_SupportedLanguages/_search
{
"query": {
"match_all": {}
}
}
データがElasticsearch に格納されていることが確認できました。
CData JDBC Driver for API をLogstash で使うことで、Google Translate コネクタとして機能し、簡単にデータをElasticsearch にロードすることができました。ぜひ、30日の無償評価版をお試しください。