QuerySurge で Azure Data Lake Storage のデータ を検証

QuerySurge は、データの検証とテストを自動化するスマートなデータテストソリューションです。CData JDBC Driver for Azure Data Lake Storage と組み合わせることで、QuerySurge からライブのAzure Data Lake Storage のデータを操作できます。この記事では、QuerySurge からAzure Data Lake Storage のデータに接続する方法を説明します。

CData JDBC Driver は最適化されたデータ処理機能を備えており、ライブのAzure Data Lake Storage のデータとのやり取りにおいて比類のないパフォーマンスを提供します。Azure Data Lake Storage に複雑な SQL クエリを発行すると、ドライバーはフィルタや集計などのサポートされている SQL 操作を直接 Azure Data Lake Storage にプッシュし、サポートされていない操作（主に SQL 関数や JOIN 操作）はクライアント側の組み込み SQL エンジンで処理します。また、ビルトインの動的メタデータクエリ機能により、ネイティブなデータ型を使用してAzure Data Lake Storage のデータを操作・分析できます。

QuerySurge から Azure Data Lake Storage のデータ に接続

QuerySurge からライブのAzure Data Lake Storage のデータに接続するには、JDBC Driver の JAR ファイルを QuerySurge Agent にデプロイし、QuerySurge の Admin ビューから新しい接続を追加する必要があります。

JDBC Driver をデプロイ

1. CData JDBC Driver for Azure Data Lake Storage のインストーラをダウンロードし、パッケージを解凍して JAR ファイルを実行し、ドライバーをインストールします。
2. ドライバーのインストールが完了したら、Agent Service を停止します。
3. インストール先（通常は C:\Program Files\CData\CData JDBC Driver for Azure Data Lake Storage\lib\）から JAR ファイル（ライセンスファイルがある場合はそれも）を Agent（QuerySurge_install_dir\agent\jdbc）にコピーします。
4. Agent Service を再起動します。

QuerySurge への JDBC ドライバーのデプロイについての詳細は、QuerySurge ナレッジベースをご参照ください。

Azure Data Lake Storage への新しい接続を設定

1. QuerySurge にログインし、Admin ビューに移動します。
2. Administration Tree で Configuration -> Connections をクリックします。
3. Add をクリックして新しい接続を作成します。
4. QuerySurge Connection Wizard で Next をクリックします。
5. 接続の名前を入力します（例：CData JDBC Connection to Azure Data Lake Storage）。
6. Data Source を「All Other JDBC Connections (Connection Extensibility)」に設定し、Next をクリックします。
7. Driver Class を cdata.jdbc.adls.ADLSDriver に設定し、Next をクリックします。

8. Azure Data Lake Storage への認証に必要な接続プロパティを使用して Connection URL を設定します。Connection URL は以下のような形式になります：

   jdbc:adls:Schema=ADLSGen2;Account=myAccount;FileSystem=myFileSystem;AccessKey=myAccessKey;

   ビルトイン接続文字列デザイナ

   JDBC URL の構成については、Azure Data Lake Storage JDBC Driver に組み込まれている接続文字列デザイナを使用できます。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行してください。

   java -jar cdata.jdbc.adls.jar
   	

   接続プロパティを入力し、接続文字列をクリップボードにコピーします。

   Azure Data Lake Storage 接続プロパティの取得・設定方法

   Azure Data Lake Storage Gen2 への接続

   それでは、Gen2 Data Lake Storage アカウントに接続していきましょう。接続するには、以下のプロパティを設定します。

   • Account：ストレージアカウントの名前
   • FileSystem：このアカウントに使用されるファイルシステム名。例えば、Azure Blob コンテナの名前
   • Directory（オプション）：レプリケートされたファイルが保存される場所へのパス。パスが指定されない場合、ファイルはルートディレクトリに保存されます

   Azure Data Lake Storage Gen2への認証

   続いて、認証方法を設定しましょう。CData 製品では、5つの認証方法をサポートしています：アクセスキー（AccessKey）の使用、共有アクセス署名（SAS）の使用、Azure Active Directory OAuth（AzureAD）経由、Azure サービスプリンシパル（AzureServicePrincipal またはAzureServicePrincipalCert）経由、およびManaged Service Identity（AzureMSI）経由です。

   アクセスキー

   アクセスキーを使用して接続するには、まずADLS Gen2ストレージアカウントで利用可能なアクセスキーを取得する必要があります。

   Azure ポータルでの手順は以下のとおりです：

   1. ADLS Gen2ストレージアカウントにアクセスします
   2. 設定でアクセスキーを選択します
   3. 利用可能なアクセスキーの1つの値をAccessKey 接続プロパティにコピーします

   接続の準備ができたら、以下のプロパティを設定してください。

   • AuthScheme：AccessKey
   • AccessKey：先ほどAzure ポータルで取得したアクセスキーの値

   共有アクセス署名（SAS）

   共有アクセス署名を使用して接続するには、まずAzure Storage Explorer ツールを使用して署名を生成する必要があります。

   接続の準備ができたら、以下のプロパティを設定してください。

   • AuthScheme：SAS
   • SharedAccessSignature：先ほど生成した共有アクセス署名の値

   その他の認証方法については、 href="/kb/help/" target="_blank">ヘルプドキュメントの「Azure Data Lake Storage Gen2への認証」セクションをご確認ください。

   
9. 接続の Test Connection ボタンを有効にするため、Test Query を設定し（例：SELECT * FROM Resources LIMIT 1）、Next をクリックします。
10. Test Connection をクリックして接続が正しく設定されていることを確認し、Save をクリックして接続を追加します。

接続を追加したら、QuerySurge でAzure Data Lake Storage のデータに対して SQL クエリを実行できます。

QueryPair で Azure Data Lake Storage のデータ クエリを比較

接続を設定したら、以下の手順に従って QueryPair でAzure Data Lake Storage のデータのクエリを比較できます。

1. Design メニューから「Design Library」を選択します
2. QuerySurge Design の下の QueryPairs をクリックします
3. 「Create New QueryPair」をクリックします
4. QueryPair に名前を付けて Save をクリックします
5. Source または Target ペインで、上記で作成した接続を選択します（Azure Data Lake Storage を2回クエリする場合は同じ接続を選択するか、比較を実行する場合は別の接続を選択します）
6. 各ペインの Editor にクエリを入力します（例：SELECT * FROM Resources）
7. 「Design-Time Run」タブをクリックしてクエリを実行します
8. クエリの実行が完了したら、「View Query Results」をクリックしてクエリから返されたAzure Data Lake Storage のデータを確認します

30 日間の無償トライアルをダウンロードして、QuerySurge でライブのAzure Data Lake Storage のデータを活用してみてください。ご不明な点がございましたら、サポートチームまでお問い合わせください。