Databricks（AWS）でAzure DevOps のデータを処理・分析

Databricks は、Apache Spark を通じたデータ処理機能を提供するクラウドベースのサービスです。CData JDBC Driver と組み合わせることで、Databricks を使用してリアルタイムAzure DevOps のデータに対してデータエンジニアリングとデータサイエンスを実行できます。この記事では、AWS でCData JDBC Driver をホストし、Databricks でリアルタイムAzure DevOps のデータに接続して処理する方法を説明します。

最適化されたデータ処理が組み込まれたCData JDBC Driver は、リアルタイムAzure DevOps のデータを扱う上で比類のないパフォーマンスを提供します。Azure DevOps に複雑なSQL クエリを発行すると、ドライバーはフィルタや集計などのサポートされているSQL 操作をAzure DevOps に直接プッシュし、サポートされていない操作（主にSQL 関数やJOIN 操作）は組み込みSQL エンジンを利用してクライアント側で処理します。組み込みの動的メタデータクエリを使用すると、ネイティブデータ型を使ってAzure DevOps のデータを操作・分析できます。

CData JDBC Driver をDatabricks にインストール

Databricks でリアルタイムAzure DevOps のデータを操作するには、Databricks クラスターにドライバーをインストールします。

1. Databricks の管理画面に移動し、対象のクラスターを選択します。
2. Libraries タブで「Install New」をクリックします。
3. Library Source として「Upload」を選択し、Library Type として「Jar」を選択します。
4. インストール場所（通常はC:\Program Files\CData[product_name]\lib）からJDBC JAR ファイル（cdata.jdbc.azuredevops.jar）をアップロードします。

ノートブックでAzure DevOps のデータにアクセス：Python

JAR ファイルをインストールしたら、Databricks でリアルタイムAzure DevOps のデータを操作する準備が整いました。ワークスペースに新しいノートブックを作成します。ノートブックに名前を付け、言語としてPython を選択し（Scala も利用可能）、JDBC ドライバーをインストールしたクラスターを選択します。ノートブックが起動したら、接続を設定し、Azure DevOps をクエリして、基本的なレポートを作成できます。

Azure DevOps への接続を設定

JDBC Driver クラスを参照し、JDBC URL で使用する接続文字列を構築してAzure DevOps に接続します。また、JDBC URL でRTK プロパティを設定する必要があります（Beta ドライバーを使用している場合を除く）。このプロパティの設定方法については、インストールに含まれるライセンスファイルを参照してください。

ステップ1：接続情報

driver = "cdata.jdbc.azuredevops.AzureDevOpsDriver"
url = "jdbc:azuredevops:RTK=5246...;AuthScheme=Basic;Organization=MyAzureDevOpsOrganization;ProjectId=MyProjectId;PersonalAccessToken=MyPAT;"

組み込みの接続文字列デザイナー

JDBC URL の作成をサポートするために、Azure DevOps JDBC Driver に組み込まれている接続文字列デザイナーが使用できます。JAR ファイルをダブルクリックするか、コマンドラインからJAR ファイルを実行します。

java -jar cdata.jdbc.azuredevops.jar

接続プロパティを入力し、接続文字列をクリップボードにコピーします。

AzureDevOps 接続プロパティの取得・設定方法

Azure DevOps アカウントに接続するには、Profile -> Organizations に移動し、アカウントの組織名を取得します。Organization プロパティをこの値に設定します。

Note: 複数のカタログやスキーマに存在するテーブル名もあります。テーブルをクエリする際は、Catalog およびSchema 接続プロパティ、または完全修飾テーブル名のいずれかでカタログとスキーマを指定する必要があります。

Azure DevOps への認証

Azure DevOps は、Basic 認証とAzure AD（OAuth ベース）認証の両方をサポートします。

Basic

Basic 認証でAzure DevOps に接続する場合、Organization とPersonalAccessToken の両方を指定します。 パーソナルアクセストークンを生成するには、Azure DevOps 組織アカウントにログインし、Profile -> Personal Access Tokens -> New Token に移動します。生成されたトークンが表示されます。

Azure AD

Azure AD は、Microsoft のマルチテナント、クラウドベースのディレクトリおよびID 管理サービスです。 これはユーザーベースの認証で、AuthScheme をAzureAD に設定し、Organization をAzure DevOps Organization の名前に設定する必要があります。 Web アプリケーションを介したAzure AD への認証には、必ずカスタムOAuth アプリケーションの作成が必要です。 詳しい認証方法は、ヘルプドキュメント の「Azure DevOps への認証」セクションを参照してください。

Azure DevOps のデータをロード

接続を設定したら、CData JDBC Driver と接続情報を使用して、Azure DevOps のデータをDataFrame としてロードできます。

ステップ2：データの読み取り

remote_table = spark.read.format ( "jdbc" ) \
	.option ( "driver" , driver) \
	.option ( "url" , url) \
	.option ( "dbtable" , "Builds") \
	.load ()

Azure DevOps のデータを表示

ロードしたAzure DevOps のデータをdisplay 関数を呼び出して確認します。

ステップ3：結果の確認

display (remote_table.select ("Id"))

Databricks でAzure DevOps のデータを分析

Databricks SparkSQL でデータを処理するには、ロードしたデータをTemp View として登録します。

ステップ4：ビューまたはテーブルを作成

remote_table.createOrReplaceTempView ( "SAMPLE_VIEW" )

Temp View を作成したら、SparkSQL を使用してAzure DevOps のデータをレポート、ビジュアライゼーション、分析用に取得できます。

% sql

SELECT Id, BuildNumber FROM SAMPLE_VIEW ORDER BY BuildNumber DESC LIMIT 5

Azure DevOps からのデータは、対象のノートブックでのみ利用可能です。他のユーザーと共有したい場合は、テーブルとして保存します。

remote_table.write.format ( "parquet" ) .saveAsTable ( "SAMPLE_TABLE" )

CData JDBC Driver for Azure DevOps の30日間無償トライアルをダウンロードして、Databricks でリアルタイムAzure DevOps のデータの操作をはじめましょう。ご不明な点があれば、サポートチームにお問い合わせください。