PowerBuilder で Databricks OData フィードを利用
CData API Server は、PowerBuilder DataWindow で利用できるセキュアなDatabricks のデータフィードを生成します。API Server は、OData、Atom、JSON、HTML、CSV、TSV、RSS などの主要な Web サービスをサポートしています。また、主要な認証スキームと SSL もサポートしています。
この記事では、CData API Server を使用して読み取りと書き込みを実行する DataWindow を作成する方法を説明します。
Databricks データ連携について
CData を使用すれば、Databricks のライブデータへのアクセスと統合がこれまでになく簡単になります。お客様は CData の接続機能を以下の目的で利用しています:
- Runtime バージョン 9.1 - 13.X から Pro および Classic Databricks SQL バージョンまで、すべてのバージョンの Databricks にアクセスできます。
- あらゆるホスティングソリューションとの互換性により、お好みの環境で Databricks を使用し続けることができます。
- パーソナルアクセストークン、Azure サービスプリンシパル、Azure AD など、さまざまな方法で安全に認証できます。
- Databricks ファイルシステム、Azure Blob ストレージ、AWS S3 ストレージを使用して Databricks にデータをアップロードできます。
多くのお客様が、さまざまなシステムから Databricks データレイクハウスにデータを移行するために CData のソリューションを使用していますが、ライブ接続ソリューションを使用して、データベースと Databricks 間の接続をフェデレートしているお客様も多数います。これらのお客様は、SQL Server リンクサーバーまたは Polybase を使用して、既存の RDBMS 内から Databricks へのライブアクセスを実現しています。
一般的な Databricks のユースケースと CData のソリューションがデータの問題解決にどのように役立つかについては、ブログをご覧ください:What is Databricks Used For? 6 Use Cases
はじめに
API Server のセットアップ
以下の手順に従って、セキュアな Databricks OData サービスの作成を開始します。
デプロイ
API Server は独自のサーバー上で実行されます。Windows では、スタンドアロンサーバーまたは IIS を使用してデプロイできます。Java サーブレットコンテナでは、API Server WAR ファイルをドロップします。詳細と手順については、ヘルプドキュメントを参照してください。
API Server は、Microsoft Azure、Amazon EC2、Heroku へのデプロイも簡単です。
Databricks への接続
API Server をデプロイしたら、API Server 管理コンソールで Settings -> Connections をクリックして新しい接続を追加し、Databricks に接続するために必要な認証値やその他の接続プロパティを指定します。
Databricks 接続プロパティの取得・設定方法
Databricks クラスターに接続するには、以下のプロパティを設定します。
- Database:Databricks データベース名。
- Server:Databricks クラスターのサーバーのホスト名。
- HTTPPath:Databricks クラスターのHTTP パス。
- Token:個人用アクセストークン。この値は、Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます。
Databricks への認証
CData は、次の認証スキームをサポートしています。
- 個人用アクセストークン
- Microsoft Entra ID(Azure AD)
- Azure サービスプリンシパル
- OAuthU2M
- OAuthM2M
個人用アクセストークン
認証するには、次を設定します。
- AuthScheme:PersonalAccessToken。
- Token:Databricks サーバーへの接続に使用するトークン。Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます。
その他の認証方法については、ヘルプドキュメント の「はじめに」セクションを参照してください。
次に、Settings -> Resources をクリックして、API Server からアクセスを許可する Databricks エンティティを選択できます。
また、Settings -> Server をクリックし、PowerBuilder との互換性のために以下の設定を変更します:
- Default Format:メニューから XML (Atom) を選択。
- Default Version:メニューから 2.0 を選択。
API Server ユーザーの認可
生成する OData サービスを決定したら、Settings -> Users をクリックしてユーザーを認可します。API Server は Authtoken ベースの認証を使用し、主要な認証スキームをサポートしています。アクセスは IP アドレスに基づいて制限することもできます。デフォルトでは、ローカルマシンへの接続のみが許可されています。SSL で認証と接続の暗号化も可能です。
Databricks 用のプロファイルを作成
以下の手順に従って、Database Painter ツールを使用して API Server の OData API 用のデータベースプロファイルを作成します。Database Painter では、データをグラフィカルに操作したり、SQL クエリを実行したりできます。
- Tools -> Database Painter をクリックします。
- OData ノードを右クリックし、New Profile をクリックします。
- Database Profile Setup ダイアログで、以下を入力します:
- Profile Name:プロファイルのわかりやすい名前を入力します。
- URI:API Server の OData エンドポイントへの URL を入力します。この URL は以下のような形式になります:
http://MyServer:8080/api.rsc
- Supply User Id and Password:HTTP Basic 認証を使用する場合は、このオプションをクリックします。なお、API Server は Windows 認証もサポートしています。
- User Id:API Server のユーザー名を入力します。
- Password:API Server のユーザーの Authtoken を入力します。
- テーブルを表示・変更するには、テーブルを右クリックして Edit Data -> Grid をクリックします。
PowerBuilder コントロールで Databricks のデータ を使用
標準的な PowerBuilder オブジェクトを使用して OData フィードに接続し、クエリを実行できます。以下の例は、Databricks のデータ を DataWindow に取得する方法を示しています。
open メソッドに以下のコードを追加できます:
SQLCA.DBMS = "ODT" SQLCA.DBParm = "ConnectString='URI=http://MyServer:8080/api.rsc;UID=MyAPIUser;PWD=MyAuthtoken'"; CONNECT USING SQLCA; dw_customers.SetTransObject(SQLCA); dw_customers.Retrieve();