DataGrip で Databricks のデータ をクエリ

Jerod Johnson
Jerod Johnson
Senior Technology Evangelist
DataGrip で Databricks のデータソースを作成し、SQL を使用してリアルタイムDatabricks のデータをクエリ。

DataGrip は、SQL 開発者がデータベースへのクエリ、作成、管理を行えるデータベース IDE です。CData JDBC Driver for Databricks と組み合わせることで、DataGrip からリアルタイムDatabricks のデータを操作できます。この記事では、DataGrip で Databricks のデータ への接続を確立し、テーブルエディタを使用して Databricks のデータ を読み込む方法を説明します。

Databricks データ連携について

CData を使用すれば、Databricks のライブデータへのアクセスと統合がこれまでになく簡単になります。お客様は CData の接続機能を以下の目的で利用しています:

  • Runtime バージョン 9.1 - 13.X から Pro および Classic Databricks SQL バージョンまで、すべてのバージョンの Databricks にアクセスできます。
  • あらゆるホスティングソリューションとの互換性により、お好みの環境で Databricks を使用し続けることができます。
  • パーソナルアクセストークン、Azure サービスプリンシパル、Azure AD など、さまざまな方法で安全に認証できます。
  • Databricks ファイルシステム、Azure Blob ストレージ、AWS S3 ストレージを使用して Databricks にデータをアップロードできます。

多くのお客様が、さまざまなシステムから Databricks データレイクハウスにデータを移行するために CData のソリューションを使用していますが、ライブ接続ソリューションを使用して、データベースと Databricks 間の接続をフェデレートしているお客様も多数います。これらのお客様は、SQL Server リンクサーバーまたは Polybase を使用して、既存の RDBMS 内から Databricks へのライブアクセスを実現しています。

一般的な Databricks のユースケースと CData のソリューションがデータの問題解決にどのように役立つかについては、ブログをご覧ください:What is Databricks Used For? 6 Use Cases


はじめに


Databricks 用の新しいドライバー定義を作成

以下のステップでは、DataGrip で Databricks 用の新しいデータソースを作成する方法を説明します。

  1. DataGrip で、File -> New -> Project をクリックしてプロジェクト名を入力します。
  2. Database Explorer で、プラスアイコン()をクリックして Driver を選択します。
  3. Driver タブで以下を設定します。
    • Name をわかりやすい名前に設定します(例:"CData Databricks Driver")。
    • Driver Files を適切な JAR ファイルに設定します。ファイルを追加するには、プラス()をクリックし、「Add Files」を選択して、ドライバーのインストールディレクトリ内の「lib」フォルダに移動し、JAR ファイル(例:cdata.jdbc.databricks.jar)を選択します。
    • Class を cdata.jdbc.databricks.Databricks.jar に設定します。
    また、詳細タブでは、ドライバーのプロパティや、VM Options、VM environment、VM home path、DBMS などの設定を変更できます。
    • ほとんどの場合、Expert optionsDBMS type を「Unknown」に変更して、ネイティブの SQL Server クエリ(Transact-SQL)を回避してください。これを行わないと、無効な関数エラーが発生する可能性があります。
  4. 「Apply」をクリックし、「OK」をクリックして接続を保存します。

Databricks への接続を設定

  1. 接続を保存したら、プラス()をクリックし、「Data Source」→「CData Databricks Driver」を選択して、新しい Databricks データソースを作成します。
  2. 新しいウィンドウで、JDBC URL を使用して Databricks への接続を設定します。

    組み込みの接続文字列デザイナー

    JDBC URL の構築には、Databricks JDBC Driver に組み込まれている接続文字列デザイナーを使用してください。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行します。

          java -jar cdata.jdbc.databricks.jar
        

    接続プロパティを入力し、接続文字列をクリップボードにコピーします。

    Databricks 接続プロパティの取得・設定方法

    Databricks クラスターに接続するには、以下のプロパティを設定します。

    • Database:Databricks データベース名。
    • Server:Databricks クラスターのサーバーのホスト名
    • HTTPPath:Databricks クラスターのHTTP パス。
    • Token:個人用アクセストークン。この値は、Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます。
    Databricks インスタンスで必要な値は、クラスターに移動して目的のクラスターを選択し、Advanced Options の下にあるJDBC/ODBC タブを選択することで見つけることができます。

    Databricks への認証

    CData は、次の認証スキームをサポートしています。

    • 個人用アクセストークン
    • Microsoft Entra ID(Azure AD)
    • Azure サービスプリンシパル
    • OAuthU2M
    • OAuthM2M

    個人用アクセストークン

    認証するには、次を設定します。

    • AuthSchemePersonalAccessToken
    • Token:Databricks サーバーへの接続に使用するトークン。Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます。

    その他の認証方法については、ヘルプドキュメント の「はじめに」セクションを参照してください。

  3. URL を接続文字列に設定します。例:
    jdbc:databricks:Server=127.0.0.1;HTTPPath=MyHTTPPath;User=MyUser;Token=MyToken;
  4. 「Apply」と「OK」をクリックして接続文字列を保存します。

これで、Data Explorer にデータソースが表示されます。

Databricks に対して SQL クエリを実行

JDBC Driver を介してアクセス可能な Databricks のエンティティ(テーブルとして利用可能)を参照するには、データソースを展開します。

クエリを実行するには、任意のテーブルを右クリックして「New」→「Query Console」を選択します。

Console で、実行したい SQL クエリを記述します。例:

SELECT City, CompanyName FROM Customers WHERE Country = 'US'

CData JDBC Driver for Databricks の30日間の無料トライアルをダウンロードして、DataGrip でリアルタイムDatabricks のデータを操作してみてください。ご不明な点があれば、サポートチームにお問い合わせください。

はじめる準備はできましたか?

Databricks Driver の無料トライアルをダウンロードしてお試しください:

 ダウンロード

詳細:

Databricks Icon Databricks JDBC Driver お問い合わせ

Databricks 連携のパワフルなJava アプリケーションを素早く作成して配布。