Geckoboard でダッシュボードを作成し、リアルタイムの Databricks のデータ をビジュアライズ
Geckoboard は、主要業績評価指標(KPI)のビジュアライゼーションを簡素化するビジネスインテリジェンスツールで、ライブダッシュボードを作成できます。Salesforce、Snowflake、Google Analytics、スプレッドシートなど、さまざまなソースからデータを統合し、視覚的に魅力的で理解しやすい形式で表示できます。シンプルさと明瞭さを重視して設計された Geckoboard は、企業がパフォーマンスをモニタリングし、目標を追跡し、データドリブンな意思決定を行うのに役立ちます。
CData Connect AI と組み合わせると、Geckoboard からダッシュボード、モニタリング、ビジュアライゼーションなどのためにDatabricks のデータへ即座にクラウド間でアクセスできます。この記事では、Databricks に接続し、Geckoboard でDatabricks のデータを使用してビジュアライゼーションを作成する方法を説明します。
Databricks データ連携について
CData を使用すれば、Databricks のライブデータへのアクセスと統合がこれまでになく簡単になります。お客様は CData の接続機能を以下の目的で利用しています:
- Runtime バージョン 9.1 - 13.X から Pro および Classic Databricks SQL バージョンまで、すべてのバージョンの Databricks にアクセスできます。
- あらゆるホスティングソリューションとの互換性により、お好みの環境で Databricks を使用し続けることができます。
- パーソナルアクセストークン、Azure サービスプリンシパル、Azure AD など、さまざまな方法で安全に認証できます。
- Databricks ファイルシステム、Azure Blob ストレージ、AWS S3 ストレージを使用して Databricks にデータをアップロードできます。
多くのお客様が、さまざまなシステムから Databricks データレイクハウスにデータを移行するために CData のソリューションを使用していますが、ライブ接続ソリューションを使用して、データベースと Databricks 間の接続をフェデレートしているお客様も多数います。これらのお客様は、SQL Server リンクサーバーまたは Polybase を使用して、既存の RDBMS 内から Databricks へのライブアクセスを実現しています。
一般的な Databricks のユースケースと CData のソリューションがデータの問題解決にどのように役立つかについては、ブログをご覧ください:What is Databricks Used For? 6 Use Cases
はじめに
CData Connect AI は、Databricks 向けのシームレスな SQL Server クラウド間インターフェースを提供し、Geckoboard でリアルタイムのDatabricks のデータを使用したダッシュボードとビジュアライゼーションを簡単に作成できます。ビジュアライゼーションを構築する際、Geckoboard は必要なデータを取得するために SQL クエリを必要とします。最適化されたデータ処理を標準で備えており、サポートされているすべての SQL 操作(フィルターや JOIN など)を Databricks に直接プッシュし、サーバーサイド処理を活用してDatabricks のデータを高速かつ効率的に取得します。
Geckoboard 用の Databricks 接続を設定
Geckoboard から Databricks への接続は、CData Connect AI によって実現されます。Geckoboard からDatabricks のデータを扱うには、まず Databricks 接続を作成・設定します。
- Connect AI にログインし、Sources をクリック、次に Add Connection をクリック
- Add Connection パネルから「Databricks」を選択
-
Databricks に接続するために必要な認証プロパティを入力します。
Databricks 接続プロパティの取得・設定方法
Databricks クラスターに接続するには、以下のプロパティを設定します。
- Database:Databricks データベース名。
- Server:Databricks クラスターのサーバーのホスト名。
- HTTPPath:Databricks クラスターのHTTP パス。
- Token:個人用アクセストークン。この値は、Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます。
Databricks への認証
CData は、次の認証スキームをサポートしています。
- 個人用アクセストークン
- Microsoft Entra ID(Azure AD)
- Azure サービスプリンシパル
- OAuthU2M
- OAuthM2M
個人用アクセストークン
認証するには、次を設定します。
- AuthScheme:PersonalAccessToken。
- Token:Databricks サーバーへの接続に使用するトークン。Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます。
その他の認証方法については、ヘルプドキュメント の「はじめに」セクションを参照してください。
- Save & Test をクリック
-
Add Databricks Connection ページで Permissions タブに移動し、ユーザーベースの権限を更新します。
Personal Access Token を追加
REST API、OData API、または仮想 SQL Server 経由で Connect AI に接続する場合、Personal Access Token(PAT)が Connect AI への接続認証に使用されます。アクセスの粒度を維持するため、サービスごとに個別の PAT を作成することをお勧めします。
- Connect AI アプリの右上にある歯車アイコン()をクリックして Settings ページを開きます。
- Settings ページで Access Tokens セクションに移動し、 Create PAT をクリック。
-
PAT に名前を付けて Create をクリック。
- Personal Access Token は作成時にのみ表示されるので、必ずコピーして安全な場所に保存してください。
接続の設定と PAT の生成が完了したら、Geckoboard からDatabricks のデータに接続する準備が整いました。
Geckoboard でリアルタイムの Databricks データに接続
以下の手順に従って、Geckoboard から CData Connect AI 仮想 SQL Server API への接続を確立します。
- Geckoboard にログイン
- カスタムダッシュボード名を追加し、Add widget をクリック
- Connect your data 検索バーで「Databases」を検索
- Database type として SQL Server を選択
- 接続情報を入力:
- Connection name:CData Connect AI への接続名を入力
- Host:仮想 SQL Server エンドポイントを入力:tds.cdata.com
- Port:14333 を入力
- Database name:接続したい CData Connect AI データソースの Connection Name を入力(例:Databricks1)
- Username:CData Connect AI のユーザー名を入力。CData Connect AI インターフェースの右上に表示されています(例:[email protected])
- Password:Settings ページで生成した PAT を入力
- Connect をクリック
接続の設定が完了したら、Databricks のデータ をクエリ・ビジュアライズできます。
Geckoboard でリアルタイムのDatabricks のデータをビジュアライズ
Geckoboard でリアルタイムのDatabricks のデータをビジュアライズするには、以下の手順に従ってください:
- Paste your SQL query コンパイラ画面で、ビジュアライゼーションに必要な特定のDatabricks のデータを選択する SQL クエリを記述
- ビジネス要件に最適なビジュアライゼーションタイプ(折れ線グラフ、棒グラフ、または縦棒グラフ)を選択
- 選択したチャートが Geckoboard に表示されます
- グラフの右上にあるメニュー(3 つのドット)をクリックし、Edit を選択して SQL クエリを変更したり、チャートの更新間隔を設定したりできます
ユースケースに応じて、CData Connect AI の AI Generator または Query Builder 機能を使用して、必要な SQL クエリを生成することもできます
クラウドアプリケーションから Databricks データへのリアルタイムアクセス
これで、Geckoboard からリアルタイムのDatabricks のデータへの直接のクラウド間接続が確立されました。ダッシュボードを作成して、データをシームレスにモニタリング・ビジュアライズできます。
Geckoboard などのクラウドアプリケーションから 100 以上の SaaS、ビッグデータ、NoSQL ソースへのリアルタイムデータアクセスの詳細については、Connect AI ページをご覧ください。