QuerySurge で Amazon Athena のデータ を検証
QuerySurge は、データの検証とテストを自動化するスマートなデータテストソリューションです。CData JDBC Driver for Amazon Athena と組み合わせることで、QuerySurge からライブのAmazon Athena のデータを操作できます。この記事では、QuerySurge からAmazon Athena のデータに接続する方法を説明します。
CData JDBC Driver は最適化されたデータ処理機能を備えており、ライブのAmazon Athena のデータとのやり取りにおいて比類のないパフォーマンスを提供します。Amazon Athena に複雑な SQL クエリを発行すると、ドライバーはフィルタや集計などのサポートされている SQL 操作を直接 Amazon Athena にプッシュし、サポートされていない操作(主に SQL 関数や JOIN 操作)はクライアント側の組み込み SQL エンジンで処理します。また、ビルトインの動的メタデータクエリ機能により、ネイティブなデータ型を使用してAmazon Athena のデータを操作・分析できます。
Amazon Athena データ連携について
CData は、Amazon Athena のライブデータにアクセスし、統合するための最も簡単な方法を提供します。お客様は CData の接続機能を以下の目的で使用しています:
- IAM 認証情報、アクセスキー、インスタンスプロファイルなど、さまざまな方法で安全に認証できます。多様なセキュリティニーズに対応し、認証プロセスを簡素化します。
- 詳細なエラーメッセージにより、セットアップを効率化し、問題を迅速に解決できます。
- サーバーサイドでのクエリ実行により、パフォーマンスを向上させ、クライアントリソースへの負荷を最小限に抑えます。
ユーザーは、Tableau、Power BI、Excel などの分析ツールと Athena を統合し、お気に入りのツールから詳細な分析を行うことができます。
CData を使用した Amazon Athena のユニークなユースケースについては、ブログ記事をご覧ください:https://jp.cdata.com/blog/amazon-athena-use-cases
はじめに
QuerySurge から Amazon Athena のデータ に接続
QuerySurge からライブのAmazon Athena のデータに接続するには、JDBC Driver の JAR ファイルを QuerySurge Agent にデプロイし、QuerySurge の Admin ビューから新しい接続を追加する必要があります。
JDBC Driver をデプロイ
- CData JDBC Driver for Amazon Athena のインストーラをダウンロードし、パッケージを解凍して JAR ファイルを実行し、ドライバーをインストールします。
- ドライバーのインストールが完了したら、Agent Service を停止します。
- インストール先(通常は C:\Program Files\CData\CData JDBC Driver for Amazon Athena\lib\)から JAR ファイル(ライセンスファイルがある場合はそれも)を Agent(QuerySurge_install_dir\agent\jdbc)にコピーします。
- Agent Service を再起動します。
QuerySurge への JDBC ドライバーのデプロイについての詳細は、QuerySurge ナレッジベースをご参照ください。
Amazon Athena への新しい接続を設定
- QuerySurge にログインし、Admin ビューに移動します。
- Administration Tree で Configuration -> Connections をクリックします。
- Add をクリックして新しい接続を作成します。
- QuerySurge Connection Wizard で Next をクリックします。
- 接続の名前を入力します(例:CData JDBC Connection to Amazon Athena)。
- Data Source を「All Other JDBC Connections (Connection Extensibility)」に設定し、Next をクリックします。
- Driver Class を cdata.jdbc.amazonathena.AmazonAthenaDriver に設定し、Next をクリックします。
Amazon Athena への認証に必要な接続プロパティを使用して Connection URL を設定します。Connection URL は以下のような形式になります:
jdbc:amazonathena:AccessKey='a123';SecretKey='s123';Region='IRELAND';Database='sampledb';S3StagingDirectory='s3://bucket/staging/';
ビルトイン接続文字列デザイナ
JDBC URL の構成については、Amazon Athena JDBC Driver に組み込まれている接続文字列デザイナを使用できます。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行してください。
java -jar cdata.jdbc.amazonathena.jar
接続プロパティを入力し、接続文字列をクリップボードにコピーします。
Amazon Athena 接続プロパティの取得・設定方法
それでは、早速Athena に接続していきましょう。
データに接続するには、以下の接続パラメータを指定します。
- DataSource:接続するAmazon Athena データソース。
- Database:接続するAmazon Athena データベース。
- AWSRegion:Amazon Athena データがホストされているリージョン。
- S3StagingDirectory:クエリの結果を保存するS3 フォルダ。
Database またはDataSource が設定されていない場合、CData 製品はAmazon Athena の利用可能なデータソースからすべてのデータベースのリスト化を試みます。そのため、両方のプロパティを設定することでCData 製品のパフォーマンスが向上します。
Amazon Athena の認証設定
CData 製品は幅広い認証オプションに対応しています。詳しくはヘルプドキュメントの「はじめに」を参照してみてください。
AWS キーを取得
IAM ユーザーの認証情報を取得するには、以下のステップお試しください。
- IAM コンソールにサインインします。
- ナビゲーションペインでユーザーを選択します。
- ユーザーのアクセスキーを作成または管理するには、ユーザーを選択してからセキュリティ認証情報タブに移動します。
AWS ルートアカウントの資格情報を取得するには、以下のステップをお試しください。
- ルートアカウントの認証情報を使用してAWS 管理コンソールにサインインします。
- アカウント名または番号を選択します。
- 表示されたメニューでMy Security Credentials を選択します。
- ルートアカウントのアクセスキーを管理または作成するには、Continue to Security Credentials をクリックし、[Access Keys]セクションを展開します。
その他の認証オプションについては、ヘルプドキュメントの「Amazon Athena への認証」を参照してください。
- 接続の Test Connection ボタンを有効にするため、Test Query を設定し(例:SELECT * FROM Customers LIMIT 1)、Next をクリックします。
- Test Connection をクリックして接続が正しく設定されていることを確認し、Save をクリックして接続を追加します。
接続を追加したら、QuerySurge でAmazon Athena のデータに対して SQL クエリを実行できます。
QueryPair で Amazon Athena のデータ クエリを比較
接続を設定したら、以下の手順に従って QueryPair でAmazon Athena のデータのクエリを比較できます。
- Design メニューから「Design Library」を選択します
- QuerySurge Design の下の QueryPairs をクリックします
- 「Create New QueryPair」をクリックします
- QueryPair に名前を付けて Save をクリックします
- Source または Target ペインで、上記で作成した接続を選択します(Amazon Athena を2回クエリする場合は同じ接続を選択するか、比較を実行する場合は別の接続を選択します)
- 各ペインの Editor にクエリを入力します(例:SELECT * FROM Customers)
- 「Design-Time Run」タブをクリックしてクエリを実行します
- クエリの実行が完了したら、「View Query Results」をクリックしてクエリから返されたAmazon Athena のデータを確認します
30 日間の無償トライアルをダウンロードして、QuerySurge でライブのAmazon Athena のデータを活用してみてください。ご不明な点がございましたら、サポートチームまでお問い合わせください。