Databricks（AWS）でAzure Data Lake Storage のデータを処理・分析

Databricks は、Apache Spark を通じたデータ処理機能を提供するクラウドベースのサービスです。CData JDBC Driver と組み合わせることで、Databricks を使用してリアルタイムAzure Data Lake Storage のデータに対してデータエンジニアリングとデータサイエンスを実行できます。この記事では、AWS でCData JDBC Driver をホストし、Databricks でリアルタイムAzure Data Lake Storage のデータに接続して処理する方法を説明します。

最適化されたデータ処理が組み込まれたCData JDBC Driver は、リアルタイムAzure Data Lake Storage のデータを扱う上で比類のないパフォーマンスを提供します。Azure Data Lake Storage に複雑なSQL クエリを発行すると、ドライバーはフィルタや集計などのサポートされているSQL 操作をAzure Data Lake Storage に直接プッシュし、サポートされていない操作（主にSQL 関数やJOIN 操作）は組み込みSQL エンジンを利用してクライアント側で処理します。組み込みの動的メタデータクエリを使用すると、ネイティブデータ型を使ってAzure Data Lake Storage のデータを操作・分析できます。

CData JDBC Driver をDatabricks にインストール

Databricks でリアルタイムAzure Data Lake Storage のデータを操作するには、Databricks クラスターにドライバーをインストールします。

1. Databricks の管理画面に移動し、対象のクラスターを選択します。
2. Libraries タブで「Install New」をクリックします。
3. Library Source として「Upload」を選択し、Library Type として「Jar」を選択します。
4. インストール場所（通常はC:\Program Files\CData[product_name]\lib）からJDBC JAR ファイル（cdata.jdbc.adls.jar）をアップロードします。

ノートブックでAzure Data Lake Storage のデータにアクセス：Python

JAR ファイルをインストールしたら、Databricks でリアルタイムAzure Data Lake Storage のデータを操作する準備が整いました。ワークスペースに新しいノートブックを作成します。ノートブックに名前を付け、言語としてPython を選択し（Scala も利用可能）、JDBC ドライバーをインストールしたクラスターを選択します。ノートブックが起動したら、接続を設定し、Azure Data Lake Storage をクエリして、基本的なレポートを作成できます。

Azure Data Lake Storage への接続を設定

JDBC Driver クラスを参照し、JDBC URL で使用する接続文字列を構築してAzure Data Lake Storage に接続します。また、JDBC URL でRTK プロパティを設定する必要があります（Beta ドライバーを使用している場合を除く）。このプロパティの設定方法については、インストールに含まれるライセンスファイルを参照してください。

ステップ1：接続情報

driver = "cdata.jdbc.adls.ADLSDriver"
url = "jdbc:adls:RTK=5246...;Schema=ADLSGen2;Account=myAccount;FileSystem=myFileSystem;AccessKey=myAccessKey;"

組み込みの接続文字列デザイナー

JDBC URL の作成をサポートするために、Azure Data Lake Storage JDBC Driver に組み込まれている接続文字列デザイナーが使用できます。JAR ファイルをダブルクリックするか、コマンドラインからJAR ファイルを実行します。

java -jar cdata.jdbc.adls.jar

接続プロパティを入力し、接続文字列をクリップボードにコピーします。

Azure Data Lake Storage 接続プロパティの取得・設定方法

Azure Data Lake Storage Gen2 への接続

それでは、Gen2 Data Lake Storage アカウントに接続していきましょう。接続するには、以下のプロパティを設定します。

• Account：ストレージアカウントの名前
• FileSystem：このアカウントに使用されるファイルシステム名。例えば、Azure Blob コンテナの名前
• Directory（オプション）：レプリケートされたファイルが保存される場所へのパス。パスが指定されない場合、ファイルはルートディレクトリに保存されます

Azure Data Lake Storage Gen2への認証

続いて、認証方法を設定しましょう。CData 製品では、5つの認証方法をサポートしています：アクセスキー（AccessKey）の使用、共有アクセス署名（SAS）の使用、Azure Active Directory OAuth（AzureAD）経由、Azure サービスプリンシパル（AzureServicePrincipal またはAzureServicePrincipalCert）経由、およびManaged Service Identity（AzureMSI）経由です。

アクセスキー

アクセスキーを使用して接続するには、まずADLS Gen2ストレージアカウントで利用可能なアクセスキーを取得する必要があります。

Azure ポータルでの手順は以下のとおりです：

1. ADLS Gen2ストレージアカウントにアクセスします
2. 設定でアクセスキーを選択します
3. 利用可能なアクセスキーの1つの値をAccessKey 接続プロパティにコピーします

接続の準備ができたら、以下のプロパティを設定してください。

• AuthScheme：AccessKey
• AccessKey：先ほどAzure ポータルで取得したアクセスキーの値

共有アクセス署名（SAS）

共有アクセス署名を使用して接続するには、まずAzure Storage Explorer ツールを使用して署名を生成する必要があります。

接続の準備ができたら、以下のプロパティを設定してください。

• AuthScheme：SAS
• SharedAccessSignature：先ほど生成した共有アクセス署名の値

その他の認証方法については、 href="/kb/help/" target="_blank">ヘルプドキュメントの「Azure Data Lake Storage Gen2への認証」セクションをご確認ください。

Azure Data Lake Storage のデータをロード

接続を設定したら、CData JDBC Driver と接続情報を使用して、Azure Data Lake Storage のデータをDataFrame としてロードできます。

ステップ2：データの読み取り

remote_table = spark.read.format ( "jdbc" ) \
	.option ( "driver" , driver) \
	.option ( "url" , url) \
	.option ( "dbtable" , "Resources") \
	.load ()

Azure Data Lake Storage のデータを表示

ロードしたAzure Data Lake Storage のデータをdisplay 関数を呼び出して確認します。

ステップ3：結果の確認

display (remote_table.select ("FullPath"))

Databricks でAzure Data Lake Storage のデータを分析

Databricks SparkSQL でデータを処理するには、ロードしたデータをTemp View として登録します。

ステップ4：ビューまたはテーブルを作成

remote_table.createOrReplaceTempView ( "SAMPLE_VIEW" )

Temp View を作成したら、SparkSQL を使用してAzure Data Lake Storage のデータをレポート、ビジュアライゼーション、分析用に取得できます。

% sql

SELECT FullPath, Permission FROM SAMPLE_VIEW ORDER BY Permission DESC LIMIT 5

Azure Data Lake Storage からのデータは、対象のノートブックでのみ利用可能です。他のユーザーと共有したい場合は、テーブルとして保存します。

remote_table.write.format ( "parquet" ) .saveAsTable ( "SAMPLE_TABLE" )

CData JDBC Driver for Azure Data Lake Storage の30日間無償トライアルをダウンロードして、Databricks でリアルタイムAzure Data Lake Storage のデータの操作をはじめましょう。ご不明な点があれば、サポートチームにお問い合わせください。