QuerySurge で BigQuery のデータ を検証
QuerySurge は、データの検証とテストを自動化するスマートなデータテストソリューションです。CData JDBC Driver for Google BigQuery と組み合わせることで、QuerySurge からライブのBigQuery のデータを操作できます。この記事では、QuerySurge からBigQuery のデータに接続する方法を説明します。
CData JDBC Driver は最適化されたデータ処理機能を備えており、ライブのBigQuery のデータとのやり取りにおいて比類のないパフォーマンスを提供します。BigQuery に複雑な SQL クエリを発行すると、ドライバーはフィルタや集計などのサポートされている SQL 操作を直接 BigQuery にプッシュし、サポートされていない操作(主に SQL 関数や JOIN 操作)はクライアント側の組み込み SQL エンジンで処理します。また、ビルトインの動的メタデータクエリ機能により、ネイティブなデータ型を使用してBigQuery のデータを操作・分析できます。
BigQuery データ連携について
CData は、Google BigQuery のライブデータへのアクセスと統合を簡素化します。お客様は CData の接続機能を以下の目的で活用しています:
- OAuth、OAuth JWT、GCP インスタンスなど、すぐに使える幅広い認証スキームのサポートにより、BigQuery へのアクセスを簡素化します。
- BigQuery と他のアプリケーション間の双方向データアクセスにより、データワークフローを強化します。
- SQL ストアドプロシージャを通じて、ジョブの開始・取得・キャンセル、テーブルの削除、ジョブロードの挿入など、主要な BigQuery アクションを実行できます。
多くの CData のお客様は、Google BigQuery をデータウェアハウスとして使用しており、CData ソリューションを使用して、別々のソースからビジネスデータを BigQuery に移行し、包括的な分析を行っています。また、BigQuery データの分析やレポート作成に当社の接続機能を使用するお客様も多く、両方のソリューションを使用しているお客様も多数います。
CData が Google BigQuery 体験をどのように向上させるかについての詳細は、ブログ記事をご覧ください:https://jp.cdata.com/blog/what-is-bigquery
はじめに
QuerySurge から BigQuery のデータ に接続
QuerySurge からライブのBigQuery のデータに接続するには、JDBC Driver の JAR ファイルを QuerySurge Agent にデプロイし、QuerySurge の Admin ビューから新しい接続を追加する必要があります。
JDBC Driver をデプロイ
- CData JDBC Driver for Google BigQuery のインストーラをダウンロードし、パッケージを解凍して JAR ファイルを実行し、ドライバーをインストールします。
- ドライバーのインストールが完了したら、Agent Service を停止します。
- インストール先(通常は C:\Program Files\CData\CData JDBC Driver for Google BigQuery\lib\)から JAR ファイル(ライセンスファイルがある場合はそれも)を Agent(QuerySurge_install_dir\agent\jdbc)にコピーします。
- Agent Service を再起動します。
QuerySurge への JDBC ドライバーのデプロイについての詳細は、QuerySurge ナレッジベースをご参照ください。
BigQuery への新しい接続を設定
- QuerySurge にログインし、Admin ビューに移動します。
- Administration Tree で Configuration -> Connections をクリックします。
- Add をクリックして新しい接続を作成します。
- QuerySurge Connection Wizard で Next をクリックします。
- 接続の名前を入力します(例:CData JDBC Connection to BigQuery)。
- Data Source を「All Other JDBC Connections (Connection Extensibility)」に設定し、Next をクリックします。
- Driver Class を cdata.jdbc.googlebigquery.GoogleBigQueryDriver に設定し、Next をクリックします。
BigQuery への認証に必要な接続プロパティを使用して Connection URL を設定します。Connection URL は以下のような形式になります:
jdbc:googlebigquery:DataSetId=MyDataSetId;ProjectId=MyProjectId;
ビルトイン接続文字列デザイナ
JDBC URL の構成については、BigQuery JDBC Driver に組み込まれている接続文字列デザイナを使用できます。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行してください。
java -jar cdata.jdbc.googlebigquery.jar
接続プロパティを入力し、接続文字列をクリップボードにコピーします。
BigQuery 接続プロパティの取得・設定方法
Google BigQuery はOAuth 認証標準を使用します。個々のユーザーとしてGoogle API にアクセスするには、組み込みクレデンシャルを使うか、OAuth アプリを作成します。
OAuth では、Google Apps ドメインのユーザーとしてサービスアカウントを使ってアクセスすることもできます。サービスカウントでの認証では、OAuth JWT を取得するためのアプリケーションを登録する必要があります。
OAuth 値に加え、DatasetId、ProjectId を設定する必要があります。詳細はヘルプドキュメントの「はじめに」を参照してください。
- 接続の Test Connection ボタンを有効にするため、Test Query を設定し(例:SELECT * FROM Orders LIMIT 1)、Next をクリックします。
- Test Connection をクリックして接続が正しく設定されていることを確認し、Save をクリックして接続を追加します。
接続を追加したら、QuerySurge でBigQuery のデータに対して SQL クエリを実行できます。
QueryPair で BigQuery のデータ クエリを比較
接続を設定したら、以下の手順に従って QueryPair でBigQuery のデータのクエリを比較できます。
- Design メニューから「Design Library」を選択します
- QuerySurge Design の下の QueryPairs をクリックします
- 「Create New QueryPair」をクリックします
- QueryPair に名前を付けて Save をクリックします
- Source または Target ペインで、上記で作成した接続を選択します(BigQuery を2回クエリする場合は同じ接続を選択するか、比較を実行する場合は別の接続を選択します)
- 各ペインの Editor にクエリを入力します(例:SELECT * FROM Orders)
- 「Design-Time Run」タブをクリックしてクエリを実行します
- クエリの実行が完了したら、「View Query Results」をクリックしてクエリから返されたBigQuery のデータを確認します
30 日間の無償トライアルをダウンロードして、QuerySurge でライブのBigQuery のデータを活用してみてください。ご不明な点がございましたら、サポートチームまでお問い合わせください。