WCF アプリケーションで Databricks のデータ の OData サービスを公開
CData ADO.NET Provider for Databricks を使用すると、Windows Communication Foundation(WCF)フレームワークを活用してサービス指向アプリケーションを素早く開発し、Databricks のデータを OData コンシューマーに提供できます。この記事では、接続用の Entity Data Model を作成し、WCF Data Service を構成して OData サービスを公開する方法を解説します。公開したフィードは、Power Pivot や CData ADO.NET Provider for OData を使用するアプリケーションなど、さまざまな OData クライアントから利用できます。
Databricks データ連携について
CData を使用すれば、Databricks のライブデータへのアクセスと統合がこれまでになく簡単になります。お客様は CData の接続機能を以下の目的で利用しています:
- Runtime バージョン 9.1 - 13.X から Pro および Classic Databricks SQL バージョンまで、すべてのバージョンの Databricks にアクセスできます。
- あらゆるホスティングソリューションとの互換性により、お好みの環境で Databricks を使用し続けることができます。
- パーソナルアクセストークン、Azure サービスプリンシパル、Azure AD など、さまざまな方法で安全に認証できます。
- Databricks ファイルシステム、Azure Blob ストレージ、AWS S3 ストレージを使用して Databricks にデータをアップロードできます。
多くのお客様が、さまざまなシステムから Databricks データレイクハウスにデータを移行するために CData のソリューションを使用していますが、ライブ接続ソリューションを使用して、データベースと Databricks 間の接続をフェデレートしているお客様も多数います。これらのお客様は、SQL Server リンクサーバーまたは Polybase を使用して、既存の RDBMS 内から Databricks へのライブアクセスを実現しています。
一般的な Databricks のユースケースと CData のソリューションがデータの問題解決にどのように役立つかについては、ブログをご覧ください:What is Databricks Used For? 6 Use Cases
はじめに
OData サービスの作成
以下の手順で、OData 経由でDatabricks のデータへの接続を提供する WCF サービスアプリケーションを作成します。
- Visual Studio を開き、新しいプロジェクトを作成します。WCF Service Application テンプレートを選択します。
- 自動生成された IService.cs と Service1.svc を削除します。
- Entity Framework 6 をインストールします:
Visual Studio のパッケージマネージャーコンソールを使用して、最新バージョンの Entity Framework をインストールします。以下のコマンドを実行すると、Entity Framework が自動的にダウンロード・インストールされます。
Install-Package EntityFramework
- Entity Framework プロバイダーを登録します:
- App.config または Web.config ファイルの "providers" セクションに、以下のプロバイダーエントリを追加します。Entity Framework のインストールが成功していれば、このセクションはすでに存在しているはずです。
<configuration> ... <entityFramework> <providers> ... <provider invariantName="System.Data.CData.Databricks" type="System.Data.CData.Databricks.DatabricksProviderServices, System.Data.CData.Databricks.Entities.EF6" /> </providers> </entityFramework> </configuration> - インストールディレクトリの lib/4.0 にある System.Data.CData.Databricks.Entities.dll への参照を追加します。
- プロジェクトをビルドして、EF6 のセットアップを完了します。
- App.config または Web.config ファイルの "providers" セクションに、以下のプロバイダーエントリを追加します。Entity Framework のインストールが成功していれば、このセクションはすでに存在しているはずです。
- Project -> Add New Item -> ADO.NET Entity Data Model をクリックします。
- 表示される Entity Data Model ウィザードで、'EF Designer from Database' オプションを選択します。
- Choose Your Connection ダイアログが表示されたら、New Connection をクリックします。
Connection properties ダイアログで、CData Databricks Data Source を選択し、必要な認証情報を入力します。
一般的な接続文字列は以下のとおりです:
Server=127.0.0.1;HTTPPath=MyHTTPPath;User=MyUser;Token=MyToken;
Databricks 接続プロパティの取得・設定方法
Databricks クラスターに接続するには、以下のプロパティを設定します。
- Database:Databricks データベース名。
- Server:Databricks クラスターのサーバーのホスト名。
- HTTPPath:Databricks クラスターのHTTP パス。
- Token:個人用アクセストークン。この値は、Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます。
Databricks への認証
CData は、次の認証スキームをサポートしています。
- 個人用アクセストークン
- Microsoft Entra ID(Azure AD)
- Azure サービスプリンシパル
- OAuthU2M
- OAuthM2M
個人用アクセストークン
認証するには、次を設定します。
- AuthScheme:PersonalAccessToken。
- Token:Databricks サーバーへの接続に使用するトークン。Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます。
その他の認証方法については、ヘルプドキュメント の「はじめに」セクションを参照してください。

- OData クライアントからアクセスさせたい Databricks のテーブルとビューを選択します。

- Project -> Add New Item -> WCF Data Service をクリックします。
データソースクラスを指定し、新しい WCF Data Service へのアクセスを構成します。以下の例では、エンティティの Access Rule が All に設定されています。これは、すべてのユーザーがデータの読み取りと変更を行えることを意味します。
using System; using System.Collections.Generic; using System.Data.Services; using System.Data.Services.Common; using System.Linq; using System.ServiceModel.Web; using System.Web; namespace DatabricksService{ public class DatabricksDataService : DataService<DatabricksEntities> { public static void InitializeService(DataServiceConfiguration config) { config.SetEntitySetAccessRule("*", EntitySetRights.All); config.DataServiceBehavior.MaxProtocolVersion = DataServiceProtocolVersion.V3; } } }-
プロジェクトを実行します。これで、OData 対応アプリケーションから Salesforce データにアクセスし、変更を反映できるようになります。ブラウザでフィードにアクセスできます。フィードは次のように表示されます:
Power Pivot から OData サービスを利用する
これで、任意の OData クライアント(例:Excel Power Pivot)からサービスを利用できます。
- Excel を開き、Power Pivot Window ボタンをクリックします。
- 新しいポップアップが表示されます。From Data Feeds オプションを選択します。
- 表示される Table Import Wizard で、OData URL を入力します(例:http://localhost:12449/DatabricksDataService.svc/)。
- OData サービスへの接続後、ウィンドウ下部の Next ボタンをクリックします。
- ウィザードの次のウィンドウに、利用可能なテーブルの一覧が表示されます。インポートするテーブルを選択し、Finish をクリックします。
- Close をクリックして、Power Pivot にデータをインポートします。