CData Connect AI を使用して Databricks でリアルタイムの Snowflake データに接続・クエリ

Mohsin Turki
Technical Marketing Engineer

CData Connect AI を使用して、リアルタイムのSnowflake のデータを Databricks に統合し、レプリケーションなしで直接クエリと分析を実現します。

Databricks は、データエンジニアリング、機械学習、アナリティクスを大規模に統合する AI クラウドネイティブプラットフォームです。データウェアハウスのパフォーマンスとデータレイクの柔軟性を兼ね備えた強力なデータレイクハウスアーキテクチャを提供しています。 Databricks を CData Connect AI と統合すると、複雑な ETL パイプラインやデータの複製を必要とせず、Snowflake のデータにリアルタイムでアクセスでき、運用の効率化とインサイトまでの時間短縮を実現できます。

この記事では、CData Connect AI を使用して Databricks から Snowflake へのセキュアなライブ接続を設定する方法を説明します。設定が完了すると、標準 SQL を使用して Databricks ノートブックから直接Snowflake のデータにアクセスでき、データエコシステム全体でリアルタイム分析を統合できます。

Snowflake データ連携について

CData は、Snowflake のライブデータへのアクセスと統合を簡素化します。お客様は CData の接続機能を以下の目的で活用しています：

Snowflake データを迅速かつ効率的に読み書きできます。
指定された Warehouse、Database、Schema のメタデータを動的に取得できます。
OAuth、OKTA、Azure AD、Azure マネージドサービス ID、PingFederate、秘密鍵など、さまざまな方法で認証できます。

多くの CData ユーザーは、CData ソリューションを使用して、お気に入りのツールやアプリケーションから Snowflake にアクセスし、さまざまなシステムからデータを Snowflake にレプリケートして、包括的なウェアハウジングと分析を行っています。

CData ソリューションとの Snowflake 統合についての詳細は、ブログをご覧ください：https://jp.cdata.com/blog/snowflake-integrations

はじめに

概要

シンプルなステップの概要は以下のとおりです：

ステップ 1 - 接続と設定： CData Connect AI で Snowflake ソースへの接続を作成し、ユーザー権限を設定して、 Personal Access Token（PAT）を生成します。
ステップ 2 - Databricks からクエリ： Databricks に CData JDBC ドライバーをインストールし、ノートブックに接続情報を設定して、 SQL クエリでリアルタイムのSnowflake のデータにアクセスします。

前提条件

始める前に、以下を準備してください：

アクティブな Snowflake アカウント
CData Connect AI アカウント。ログインまたは無料トライアルにサインアップできます。
Databricks アカウント。こちらからサインアップまたはログインできます。

ステップ 1：CData Connect AI で Snowflake 接続を設定

1.1 Snowflake への接続を追加

CData Connect AI は、利用可能なデータソースに接続するためのシンプルなポイント＆クリックインターフェースを提供しています。

Connect AI にログインし、左側の Sources をクリックして、右上の Add Connection をクリック

Add Connection パネルから 「Snowflake」 を選択

Snowflake に接続するために必要な認証プロパティを入力します。
それでは、Snowflake データベースに接続していきましょう。認証に加えて、以下の接続プロパティを設定します。
- Url：お使いのSnowflake URL を指定します。例：https://orgname-myaccount.snowflakecomputing.com
  - Legacy URL を使用する場合：https://myaccount.region.snowflakecomputing.com
  - ご自身のURL は以下のステップで確認できます。
    1. Snowflake UI の左下にあるユーザー名をクリックします
    2. Account ID にカーソルを合わせます
    3. Copy Account URL アイコンをクリックして、アカウントURL をコピーします
- Database（オプション）：CData 製品によって公開されるテーブルとビューを、特定のSnowflake データベースのものに制限したい場合に設定します
- Schema（オプション）：CData 製品によって公開されるテーブルとビューを、特定のSnowflake データベーススキーマのものに制限したい場合に設定します
Snowflakeへの認証

CData 製品では、Snowflake ユーザー認証、フェデレーション認証、およびSSL クライアント認証をサポートしています。認証するには、User とPassword を設定し、AuthScheme プロパティで認証方法を選択してください。

キーペア認証

ユーザーアカウントに定義されたプライベートキーを使用してセキュアなトークンを作成し、キーペア認証で接続することも可能です。この方法で接続するには、AuthScheme をPRIVATEKEY に設定し、以下の値を設定してください。
- User：認証に使用するユーザーアカウント
- PrivateKey：プライベートキーを含む.pem ファイルへのパスなど、ユーザーに使用されるプライベートキー
- PrivateKeyType：プライベートキーを含むキーストアの種類（PEMKEY_FILE、PFXFILE など）
- PrivateKeyPassword：指定されたプライベートキーのパスワード
その他の認証方法については、ヘルプドキュメントの「Snowflakeへの認証」セクションをご確認ください。
右上の Save & Test をクリック
Snowflake Connection ページで Permissions タブに移動し、お好みに応じてユーザーベースの権限を更新します。

1.2 Personal Access Token（PAT）を生成

REST API、OData API、または仮想 SQL Server 経由で Connect AI に接続する場合、 Personal Access Token（PAT）が Connect AI への接続認証に使用されます。PAT は、セキュアなトークンベースの認証としてログイン認証情報の代わりに機能します。アクセスの粒度を維持するため、サービスごとに個別の PAT を作成することをお勧めします。

Connect AI アプリの右上にある歯車アイコン（）をクリックして Settings ページを開く
Settings ページで Access Tokens セクションに移動し、 Create PAT をクリック
PAT に名前を付けて Create をクリック
注意：Personal Access Token は作成時にのみ表示されるので、必ずコピーして安全な場所に保存してください。

ステップ 2：Databricks で Snowflake データに接続・クエリ

以下の手順に従って、Databricks から Snowflake への接続を確立します。 CData JDBC Driver for Connect AI をインストールし、JAR ファイルをクラスターに追加して、ノートブックを設定し、 SQL クエリでリアルタイムのSnowflake のデータにアクセスします。

2.1 CData JDBC Driver for Connect AI をインストール

CData Connect AI で、左側の Integrations ページをクリック。 JDBC または Databricks を検索し、Download をクリックして、お使いの OS 用のインストーラーを選択します。
ダウンロード後、インストーラーを実行して指示に従います：
- Windows の場合：セットアップファイルを実行し、インストールウィザードに従います。
- Mac/Linux の場合：アーカイブを解凍し、フォルダを /opt または /Applications に移動します。実行権限があることを確認してください。

インストール後、インストールディレクトリで JAR ファイルを見つけます：

Windows：

C:\Program Files\CData\CData JDBC Driver for Connect AI\lib\cdata.jdbc.connect.jar

Mac/Linux：

/Applications/CData/CData JDBC Driver for Connect AI/lib/cdata.jdbc.connect.jar

2.2 Databricks に JAR ファイルをインストール

Databricks にログイン。左側のナビゲーションペインで Compute をクリック。コンピュートクラスターを開始または作成します。
実行中のクラスターをクリックし、Libraries タブに移動して、右上の Install New をクリック。
Install Library ダイアログで DBFS を選択し、 cdata.jdbc.connect.jar ファイルをドラッグ＆ドロップ。Install をクリック。

2.3 Databricks ノートブックで Snowflake データをクエリ

ノートブックスクリプト 1 - JDBC 接続を定義：

以下のスクリプトをノートブックセルに貼り付けます：

driver = "cdata.jdbc.connect.ConnectDriver"
url = "jdbc:connect:AuthScheme=Basic;User=your_username;Password=your_pat;URL=https://cloud.cdata.com/api/;DefaultCatalog=Your_Connection_Name;"

以下を置き換えます：
- your_username - CData Connect AI のユーザー名
- your_pat - CData Connect AI の Personal Access Token（PAT）
- Your_Connection_Name - Sources ページの Connect AI データソース名
スクリプトを実行します。

ノートブックスクリプト 2 -Snowflake のデータから DataFrame を読み込み：

2 番目のスクリプト用に新しいセルを追加します。ノートブック右側のメニューから Add cell below をクリック。
以下のスクリプトを新しいセルに貼り付けます：

remote_table = spark.read.format("jdbc") \
  .option("driver", "cdata.jdbc.connect.ConnectDriver") \
  .option("url", "jdbc:connect:AuthScheme=Basic;User=your_username;Password=your_pat;URL=https://cloud.cdata.com/api/;DefaultCatalog=Your_Connection_Name;") \
  .option("dbtable", "YOUR_SCHEMA.YOUR_TABLE") \
  .load()

以下を置き換えます：
- your_username - CData Connect AI のユーザー名
- your_pat - CData Connect AI の Personal Access Token（PAT）
- Your_Connection_Name - Sources ページの Connect AI データソース名
- YOUR_SCHEMA.YOUR_TABLE - スキーマとテーブル名（例：Snowflake.Products）
スクリプトを実行します。

ノートブックスクリプト 3 - カラムをプレビュー：

同様に、3 番目のスクリプト用に新しいセルを追加します。
以下のスクリプトを新しいセルに貼り付けます：

display(remote_table.select("ColumnName1", "ColumnName2"))

ColumnName1 と ColumnName2 を Snowflake 構造の実際のカラム名に置き換えます（例：Id、ProductName など）。
スクリプトを実行します。

Databricks ノートブックでSnowflake のデータデータをプレビュー

これで、バックエンド API の複雑さを意識することなく、またSnowflake のデータをレプリケーションすることなく、 Databricks ノートブック内で直接リアルタイムの Snowflake のデータ を探索、結合、分析できるようになりました。

CData Connect AI を 14 日間無料でお試しください

Snowflake のデータへのリアルタイムアクセスを簡素化する準備はできましたか？ CData Connect AI の 14 日間無料トライアルを今すぐ開始して、 Databricks から Snowflake へのシームレスなライブ接続を体験してください。

ローコード、インフラ不要、レプリケーション不要 - 重要なデータとインサイトへのシームレスでセキュアなアクセスを実現します。

はじめる準備はできましたか？

CData Connect AI の詳細、または無料トライアルにお申し込みください：

無料トライアルお問い合わせ