Qlik Sense Cloud のDatabricks からアプリを作成
Qlik Sense Cloud を使用すると、データのビジュアライゼーションを作成および共有して、新しい方法で情報を操作できます。CData API Server は、Databricks の仮想データベースを作成し、Databricks のOData API(Qlik Sense Cloud でネイティブに使用可能)を生成するために使用できます。Qlik Sense Cloud をCData API Server とペアリングすることで、すべてのSaaS およびビッグデータとNoSQL ソースへの接続が可能になります。データを移行したり統合したりする必要はありません。ほかのREST サービスと同様に、Qlik Sense Cloud からAPI Server に接続するだけで、Databricks のデータに瞬時にライブアクセスできます。
この記事では、二つの接続について説明します。
- API Server からDatabricks への接続。
- Qlik Sense Cloud からAPI Server に接続してモデルを作成し、シンプルなダッシュボードを構築。
Databricks データ連携について
CData を使用すれば、Databricks のライブデータへのアクセスと統合がこれまでになく簡単になります。お客様は CData の接続機能を以下の目的で利用しています:
- Runtime バージョン 9.1 - 13.X から Pro および Classic Databricks SQL バージョンまで、すべてのバージョンの Databricks にアクセスできます。
- あらゆるホスティングソリューションとの互換性により、お好みの環境で Databricks を使用し続けることができます。
- パーソナルアクセストークン、Azure サービスプリンシパル、Azure AD など、さまざまな方法で安全に認証できます。
- Databricks ファイルシステム、Azure Blob ストレージ、AWS S3 ストレージを使用して Databricks にデータをアップロードできます。
多くのお客様が、さまざまなシステムから Databricks データレイクハウスにデータを移行するために CData のソリューションを使用していますが、ライブ接続ソリューションを使用して、データベースと Databricks 間の接続をフェデレートしているお客様も多数います。これらのお客様は、SQL Server リンクサーバーまたは Polybase を使用して、既存の RDBMS 内から Databricks へのライブアクセスを実現しています。
一般的な Databricks のユースケースと CData のソリューションがデータの問題解決にどのように役立つかについては、ブログをご覧ください:What is Databricks Used For? 6 Use Cases
はじめに
API Server の設定
以下のリンクからAPI Server の無償トライアルをスタートしたら、セキュアなDatabricks OData サービスを作成していきましょう。
Databricks への接続
Qlik Cloud からDatabricks のデータを操作するには、まずDatabricks への接続を作成・設定します。
- API Server にログインして、「Connections」をクリック、さらに「接続を追加」をクリックします。
- 「接続を追加」をクリックして、データソースがAPI Server に事前にインストールされている場合は、一覧から「Databricks」を選択します。
- 事前にインストールされていない場合は、コネクタを追加していきます。コネクタ追加の手順は以下の記事にまとめてありますので、ご確認ください。
CData コネクタの追加方法はこちら >> - それでは、Databricks への接続設定を行っていきましょう!
-
Databricks 接続プロパティの取得・設定方法
Databricks クラスターに接続するには、以下のプロパティを設定します。
- Database:Databricks データベース名。
- Server:Databricks クラスターのサーバーのホスト名。
- HTTPPath:Databricks クラスターのHTTP パス。
- Token:個人用アクセストークン。この値は、Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます。
Databricks への認証
CData は、次の認証スキームをサポートしています。
- 個人用アクセストークン
- Microsoft Entra ID(Azure AD)
- Azure サービスプリンシパル
- OAuthU2M
- OAuthM2M
個人用アクセストークン
認証するには、次を設定します。
- AuthScheme:PersonalAccessToken。
- Token:Databricks サーバーへの接続に使用するトークン。Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます。
その他の認証方法については、ヘルプドキュメント の「はじめに」セクションを参照してください。
- 接続情報の入力が完了したら、「保存およびテスト」をクリックします。
Databricks 接続プロパティの取得・設定方法
Databricks クラスターに接続するには、以下のプロパティを設定します。
- Database:Databricks データベース名。
- Server:Databricks クラスターのサーバーのホスト名。
- HTTPPath:Databricks クラスターのHTTP パス。
- Token:個人用アクセストークン。この値は、Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます。
Databricks への認証
CData は、次の認証スキームをサポートしています。
- 個人用アクセストークン
- Microsoft Entra ID(Azure AD)
- Azure サービスプリンシパル
- OAuthU2M
- OAuthM2M
個人用アクセストークン
認証するには、次を設定します。
- AuthScheme:PersonalAccessToken。
- Token:Databricks サーバーへの接続に使用するトークン。Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます。
その他の認証方法については、ヘルプドキュメント の「はじめに」セクションを参照してください。
API Server のユーザー設定
次に、API Server 経由でDatabricks にアクセスするユーザーを作成します。「Users」ページでユーザーを追加・設定できます。やってみましょう。
- 「Users」ページで ユーザーを追加をクリックすると、「ユーザーを追加」ポップアップが開きます。
-
次に、「ロール」、「ユーザー名」、「権限」プロパティを設定し、「ユーザーを追加」をクリックします。
-
その後、ユーザーの認証トークンが生成されます。各ユーザーの認証トークンとその他の情報は「Users」ページで確認できます。
Databricks 用のAPI エンドポイントの作成
ユーザーを作成したら、Databricks のデータ用のAPI エンドポイントを作成していきます。
-
まず、「API」ページに移動し、
「 テーブルを追加」をクリックします。
-
アクセスしたい接続を選択し、次へをクリックします。
-
接続を選択した状態で、各テーブルを選択して確認をクリックすることでエンドポイントを作成します。
OData のエンドポイントを取得
以上でDatabricks への接続を設定してユーザーを作成し、API Server でDatabricks データのAPI を追加しました。これで、OData 形式のDatabricks データをREST API で利用できます。API Server の「API」ページから、API のエンドポイントを表示およびコピーできます。
(オプション)Cross-Origin Resource Sharing (CORS) を構成
Ajax などのアプリケーションから複数のドメインにアクセスして接続すると、クロスサイトスクリプティングの制限に違反する恐れがあります。その場合には、[OData]->[Settings]でCORS 設定を構成します。
- Enable cross-origin resource sharing (CORS):ON
- Allow all domains without '*':ON
- Access-Control-Allow-Methods:GET, PUT, POST, OPTIONS
- Access-Control-Allow-Headers:Authorization
Databricks のデータからQlik Sense アプリケーションを作成
Databricks への接続と構成されたOData エンドポイントがあれば、Databricks のデータを追加してQlik Sense でビジュアライズ、分析、レポートなどを行うことができます。
新しいアプリケーションの作成とデータのアップロード
- Qlik Sense インスタンスにログインし、ボタンをクリックして新しいアプリケーション新しいアプリケーションを作成します。
- 新しいアプリケーションに名前を付けて構成し、「Create」をクリックします。
- ワークスペース内で、新しいアプリケーションをクリックして開きます。
- クリックして、ファイルやその他のソースからデータを追加します。
- REST コネクタを選択し、構成プロパティを設定します。次の箇所以外では、ほとんどの箇所でデフォルト値を使用します。
- URL:これをDatabricks テーブルのAPI エンドポイントに設定します。@CSV URL パラメーターを使用することで、CSV レスポンスを確実に取得できます。(例: https://myserver/api.rsc/Databricks_Customers?@CSV)
- Authentication Schema:「BASIC」に設定します。
- User Name:上記で構成したユーザー名に設定します。
- Password:上記のユーザー用の認証トークンに設定します。
- 「Create」をクリックしてDatabricks のデータのAPI Server をクエリします。
- 「CSV has header」をチェックし、「Tables」で「CSV_source」を選択します。
- カラムを選択し、「Add data」をクリックします。
実際にデータを分析する
データがQlik Sense にロードされたので、洞察を引き出すことができます。「Generate insights」をクリックすると、Qlik がデータを分析します。もしくは、Databricks のデータを使用してカスタムのビジュアライゼーション、レポート、ダッシュボードを作成できます。
詳細と無料トライアル
これで、リアルタイムDatabricks のデータから簡単で強力なダッシュボードが作成されました。Databricks(および250 以外のデータソース)のOData フィードを作成する方法の詳細については、API Server ページにアクセスしてください。無料トライアルにサインアップして、Qlik Sense Cloud でリアルタイムDatabricks のデータの操作を開始します。