JayDeBeApi を使って Python からAzure Data Lake Storage のデータにアクセス

Python と Java がインストールされている環境であれば、Python スクリプトと標準 SQL を使ってAzure Data Lake Storage のデータにアクセスできます。CData JDBC Driver for Azure Data Lake Storage と JayDeBeApi モジュールを組み合わせることで、Python からリモートのAzure Data Lake Storage のデータを操作できます。CData ドライバーを使用することで、業界標準に準拠した実績のあるドライバーを Python という人気の高い言語で活用できます。この記事では、ドライバーを使って Azure Data Lake Storage に SQL クエリを実行し、標準的な Python でAzure Data Lake Storage のデータを可視化する方法を説明します。

JayDeBeApi モジュールを使用

JayDeBeApi は、JDBC（Java Database Connectivity）のブリッジとして機能する Python ライブラリで、Python プログラムから CData JDBC ドライバーを含む Java データベースとやり取りできるようになります。pip install コマンドでモジュールをインストールします。

pip install JayDeBeApi

JDBC URL を作成

JayDeBeApi をインストールしたら、SQL を使って Python からAzure Data Lake Storage のデータを操作する準備が整います。

Azure Data Lake Storage 接続プロパティの取得・設定方法

Azure Data Lake Storage Gen2 への接続

それでは、Gen2 Data Lake Storage アカウントに接続していきましょう。接続するには、以下のプロパティを設定します。

• Account：ストレージアカウントの名前
• FileSystem：このアカウントに使用されるファイルシステム名。例えば、Azure Blob コンテナの名前
• Directory（オプション）：レプリケートされたファイルが保存される場所へのパス。パスが指定されない場合、ファイルはルートディレクトリに保存されます

Azure Data Lake Storage Gen2への認証

続いて、認証方法を設定しましょう。CData 製品では、5つの認証方法をサポートしています：アクセスキー（AccessKey）の使用、共有アクセス署名（SAS）の使用、Azure Active Directory OAuth（AzureAD）経由、Azure サービスプリンシパル（AzureServicePrincipal またはAzureServicePrincipalCert）経由、およびManaged Service Identity（AzureMSI）経由です。

アクセスキー

アクセスキーを使用して接続するには、まずADLS Gen2ストレージアカウントで利用可能なアクセスキーを取得する必要があります。

Azure ポータルでの手順は以下のとおりです：

1. ADLS Gen2ストレージアカウントにアクセスします
2. 設定でアクセスキーを選択します
3. 利用可能なアクセスキーの1つの値をAccessKey 接続プロパティにコピーします

接続の準備ができたら、以下のプロパティを設定してください。

• AuthScheme：AccessKey
• AccessKey：先ほどAzure ポータルで取得したアクセスキーの値

共有アクセス署名（SAS）

共有アクセス署名を使用して接続するには、まずAzure Storage Explorer ツールを使用して署名を生成する必要があります。

接続の準備ができたら、以下のプロパティを設定してください。

• AuthScheme：SAS
• SharedAccessSignature：先ほど生成した共有アクセス署名の値

その他の認証方法については、 href="/kb/help/" target="_blank">ヘルプドキュメントの「Azure Data Lake Storage Gen2への認証」セクションをご確認ください。

ビルトイン接続文字列デザイナー

JDBC URL の作成には、Azure Data Lake Storage JDBC Driver に組み込まれている接続文字列デザイナーを使用してください。JAR ファイルをダブルクリックするか、コマンドラインから実行します。

java -jar cdata.jdbc.adls.jar

接続プロパティを入力し、接続文字列をクリップボードにコピーします。

以下は、一般的な JDBC 接続文字列を含む変数の例です。

jdbc_url = "jdbc:adls:Schema=ADLSGen2;Account=myAccount;FileSystem=myFileSystem;AccessKey=myAccessKey;"

Python からAzure Data Lake Storage のデータにアクセス

JDBC URL を設定したら、あとは JDBC ドライバーの JAR ファイルへの絶対パスだけが必要です。これはインストールディレクトリの "lib" フォルダにあります（Windows では "C:\Program Files\CData[product_name] 20XX\lib\cdata.jdbc.adls.jar"）。

注意: まだ設定していない場合は、JAVA_HOME 環境変数を Java のインストールディレクトリに設定してください。

以下のようなコードで Azure Data Lake Storage からデータを読み取り、表示できます。

import jaydebeapi

#The JDBC connection string
jdbc_url = "jdbc:adls:Schema=ADLSGen2;Account=myAccount;FileSystem=myFileSystem;AccessKey=myAccessKey;"

username = "****"
password = "****"

#The absolute Path to the JDBC driver JAR file, typically:
jdbc_driver_jar = "C:\Program Files\CData[product_name] 20XX\lib\cdata.jdbc.adls.jar"

conn = jaydebeapi.connect(
   "cdata.jdbc.adls.ADLSDriver",
   jdbc_url,
   [username, password],
   jdbc_driver_jar,
)

cursor = conn.cursor()
cursor.execute("SELECT * FROM Resources;")


results = cursor.fetchall()
for row in results:
    print(row)

cursor.close()
conn.close()

無料トライアルと詳細情報

CData JDBC Driver for Azure Data Lake Storage の 30 日間無料トライアルをダウンロードして、Python でリアルタイムのAzure Data Lake Storage のデータを操作してみてください。ご不明な点がございましたら、サポートチームまでお問い合わせください。