DatabricksからConnect AI経由でHubDB に接続・クエリ

Mohsin Turki
Mohsin Turki
Technical Marketing Engineer
CData Connect AI を使用して、HubDBのリアルタイムデータを Databricks に統合し、レプリケーションなしで直接クエリと分析を実現します。

Databricks は、データエンジニアリング、機械学習、アナリティクスを大規模に統合する AI クラウドネイティブプラットフォームです。 データウェアハウスのパフォーマンスとデータレイクの柔軟性を兼ね備えた強力なデータレイクハウスアーキテクチャを提供しています。 Databricks を CData Connect AI と統合すると、 複雑な ETL パイプラインやデータの複製を必要とせず、HubDB のデータ にリアルタイムでアクセスでき、 運用の効率化とインサイトまでの時間短縮を実現できます。

この記事では、CData Connect AI を使用して Databricks から HubDB へのセキュアなライブ接続を設定する方法を説明します。 設定が完了すると、標準 SQL を使用して Databricks ノートブックから直接HubDB のデータにアクセスでき、 データエコシステム全体でリアルタイム分析を統合できます。

概要

シンプルなステップの概要は以下のとおりです：

  1. ステップ 1 - 接続と設定： CData Connect AI で HubDB ソースへの接続を作成し、ユーザー権限を設定して、 Personal Access Token（PAT）を生成します。
  2. ステップ 2 - Databricks からクエリ： Databricks に CData JDBC ドライバーをインストールし、ノートブックに接続情報を設定して、 SQL クエリでリアルタイムのHubDB のデータにアクセスします。

前提条件

始める前に、以下を準備してください：

  1. アクティブな HubDB アカウント
  2. CData Connect AI アカウント。ログインまたは 無料トライアルにサインアップできます。
  3. Databricks アカウント。こちらからサインアップまたはログインできます。

ステップ 1：CData Connect AI で HubDB 接続を設定

1.1 HubDB への接続を追加

CData Connect AI は、利用可能なデータソースに接続するためのシンプルなポイント＆クリックインターフェースを提供しています。

  1. Connect AI にログインし、左側の Sources をクリックして、 右上の Add Connection をクリック
    2. CData Connect AI で接続を追加
  2. Add Connection パネルから 「HubDB」 を選択
    3. データソースを選択
  3. HubDB に接続するために必要な認証プロパティを入力します。

    HubDBデータソースへの接続には、パブリックHubSpotアプリケーションを使用したOAuth認証とプライベートアプリケーショントークンを使用した認証の2つの方法があります。

    カスタムOAuthアプリを使用する

    すべてのOAuthフローでAuthSchemeを"OAuth"に設定する必要があります。特定の認証ニーズ（デスクトップアプリケーション、Webアプリケーション、ヘッドレスマシン）に必要な接続プロパティについては、ヘルプドキュメントを確認してください。

    アプリケーションを登録し、OAuthクライアント認証情報を取得するには、以下の手順を実行してください。

    1. HubSpotアプリ開発者アカウントにログインします。
      • アプリ開発者アカウントである必要があります。標準のHubSpotアカウントではパブリックアプリを作成できません。
    2. 開発者アカウントのホームページで、アプリタブをクリックします。
    3. アプリを作成をクリックします。
    4. アプリ情報タブで、ユーザーが接続する際に表示される値を入力し、必要に応じて変更します。これらの値には、パブリックアプリケーション名、アプリケーションロゴ、アプリケーションの説明が含まれます。
    5. 認証タブで、「リダイレクトURL」ボックスにコールバックURLを入力します。
      • デスクトップアプリケーションを作成する場合は、http://localhost:33333のようなローカルにアクセス可能なURLに設定します。
      • Webアプリケーションを作成する場合は、ユーザーがアプリケーションを承認した際にリダイレクトされる信頼できるURLに設定します。
    6. アプリを作成をクリックします。HubSpotがアプリケーションとそれに関連する認証情報を生成します。
    7. 認証タブで、クライアントIDとクライアントシークレットを確認します。これらは後でドライバーを設定する際に使用します。

    8. スコープの下で、アプリケーションの意図する機能に必要なスコープを選択します。

      テーブルにアクセスするには、最低限以下のスコープが必要です：

      • hubdb
      • oauth
      • crm.objects.owners.read
    9. 変更を保存をクリックします。
    10. 統合に必要な機能にアクセスできる本番ポータルにアプリケーションをインストールします。
      • 「インストールURL（OAuth）」の下で、完全なURLをコピーをクリックして、アプリケーションのインストールURLをコピーします。
      • コピーしたリンクをブラウザで開きます。アプリケーションをインストールする標準アカウントを選択します。
      • アプリを接続をクリックします。結果のタブは閉じて構いません。

    プライベートアプリを使用する

    HubSpotプライベートアプリケーショントークンを使用して接続するには、AuthSchemeプロパティを"PrivateApp"に設定します。

    以下の手順に従ってプライベートアプリケーショントークンを生成できます：

    1. HubDBアカウントで、メインナビゲーションバーの設定アイコン（歯車）をクリックします。
    2. 左サイドバーメニューで、統合 > プライベートアプリに移動します。
    3. プライベートアプリを作成をクリックします。
    4. 基本情報タブで、アプリケーションの詳細（名前、ロゴ、説明）を設定します。
    5. スコープタブで、プライベートアプリケーションがアクセスできるようにしたい各スコープに対して読み取りまたは書き込みを選択します。
    6. テーブルにアクセスするには、最低限hubdbとcrm.objects.owners.readが必要です。
    7. アプリケーションの設定が完了したら、右上のアプリを作成をクリックします。
    8. アプリケーションのアクセストークンに関する情報を確認し、作成を続行をクリックし、その後トークンを表示をクリックします。
    9. コピーをクリックして、プライベートアプリケーショントークンをコピーします。

    接続するには、PrivateAppTokenを取得したプライベートアプリケーショントークンに設定します。

    接続を設定（Salesforce の例）
  4. 右上の Save & Test をクリック
  5. HubDB Connection ページで Permissions タブに移動し、 お好みに応じてユーザーベースの権限を更新します。 権限を更新

1.2 Personal Access Token（PAT）を生成

REST API、OData API、または仮想 SQL Server 経由で Connect AI に接続する場合、 Personal Access Token（PAT）が Connect AI への接続認証に使用されます。PAT は、セキュアなトークンベースの認証として ログイン認証情報の代わりに機能します。アクセスの粒度を維持するため、 サービスごとに個別の PAT を作成することをお勧めします。

  1. Connect AI アプリの右上にある歯車アイコン（）をクリックして Settings ページを開く
  2. Settings ページで Access Tokens セクションに移動し、 Create PAT をクリック
  3. PAT に名前を付けて Create をクリック 新しい PAT を作成
  4. 注意：Personal Access Token は作成時にのみ表示されるので、必ずコピーして安全な場所に保存してください。

ステップ 2：Databricks で HubDB データに接続・クエリ

以下の手順に従って、Databricks から HubDB への接続を確立します。 CData JDBC Driver for Connect AI をインストールし、JAR ファイルをクラスターに追加して、ノートブックを設定し、 SQL クエリでリアルタイムのHubDB のデータにアクセスします。

2.1 CData JDBC Driver for Connect AI をインストール

  1. CData Connect AI で、左側の Integrations ページをクリック。 JDBC または Databricks を検索し、Download をクリックして、 お使いの OS 用のインストーラーを選択します。
  2. ダウンロード後、インストーラーを実行して指示に従います：
    • Windows の場合：セットアップファイルを実行し、インストールウィザードに従います。
    • Mac/Linux の場合：アーカイブを解凍し、フォルダを /opt または /Applications に移動します。実行権限があることを確認してください。
  3. インストール後、インストールディレクトリで JAR ファイルを見つけます：
    • Windows： 
      C:\Program Files\CData\CData JDBC Driver for Connect AI\lib\cdata.jdbc.connect.jar
    • Mac/Linux： 
      /Applications/CData/CData JDBC Driver for Connect AI/lib/cdata.jdbc.connect.jar

2.2 Databricks に JAR ファイルをインストール

  1. Databricks にログイン。左側のナビゲーションペインで Compute をクリック。コンピュートクラスターを開始または作成します。 Databricks でコンピュートクラスターを起動
  2. 実行中のクラスターをクリックし、Libraries タブに移動して、右上の Install New をクリック。 Databricks の Libraries タブにアクセス
  3. Install Library ダイアログで DBFS を選択し、 cdata.jdbc.connect.jar ファイルをドラッグ＆ドロップ。Install をクリック。 JDBC ドライバー JAR を DBFS にアップロード

2.3 Databricks ノートブックで HubDB データをクエリ

ノートブックスクリプト 1 - JDBC 接続を定義：

  1. 以下のスクリプトをノートブックセルに貼り付けます：

driver = "cdata.jdbc.connect.ConnectDriver"
url = "jdbc:connect:AuthScheme=Basic;User=your_username;Password=your_pat;URL=https://cloud.cdata.com/api/;DefaultCatalog=Your_Connection_Name;"
  1. 以下を置き換えます：
    • your_username - CData Connect AI のユーザー名
    • your_pat - CData Connect AI の Personal Access Token（PAT）
    • Your_Connection_Name - Sources ページの Connect AI データソース名
  2. スクリプトを実行します。

ノートブックスクリプト 2 -HubDB のデータから DataFrame を読み込み：

  1. 2 番目のスクリプト用に新しいセルを追加します。ノートブック右側のメニューから Add cell below をクリック。
  2. 以下のスクリプトを新しいセルに貼り付けます：

remote_table = spark.read.format("jdbc") \
  .option("driver", "cdata.jdbc.connect.ConnectDriver") \
  .option("url", "jdbc:connect:AuthScheme=Basic;User=your_username;Password=your_pat;URL=https://cloud.cdata.com/api/;DefaultCatalog=Your_Connection_Name;") \
  .option("dbtable", "YOUR_SCHEMA.YOUR_TABLE") \
  .load()
  1. 以下を置き換えます：
    • your_username - CData Connect AI のユーザー名
    • your_pat - CData Connect AI の Personal Access Token（PAT）
    • Your_Connection_Name - Sources ページの Connect AI データソース名
    • YOUR_SCHEMA.YOUR_TABLE - スキーマとテーブル名（例：HubDB.NorthwindProducts）
  2. スクリプトを実行します。

ノートブックスクリプト 3 - カラムをプレビュー：

  1. 同様に、3 番目のスクリプト用に新しいセルを追加します。
  2. 以下のスクリプトを新しいセルに貼り付けます：

display(remote_table.select("ColumnName1", "ColumnName2"))
  1. ColumnName1 と ColumnName2 を HubDB 構造の実際のカラム名に置き換えます（例：PartitionKey、Name など）。
  2. スクリプトを実行します。
Databricks ノートブックでHubDB のデータデータをプレビュー

これで、バックエンド API の複雑さを意識することなく、またHubDB のデータをレプリケーションすることなく、 Databricks ノートブック内で直接リアルタイムの HubDB のデータ を探索、結合、分析できるようになりました。

CData Connect AI を 14 日間無料でお試しください

HubDB のデータへのリアルタイムアクセスを簡素化する準備はできましたか？ CData Connect AI の 14 日間無料トライアルを今すぐ開始して、 Databricks から HubDB へのシームレスなライブ接続を体験してください。

ローコード、インフラ不要、レプリケーション不要 - 重要なデータとインサイトへの シームレスでセキュアなアクセスを実現します。

はじめる準備はできましたか？

CData Connect AI の詳細、または無料トライアルにお申し込みください：

無料トライアル

この記事の内容

関連記事