Databricks のデータでGoogle Sheets を拡張

マクロ、カスタム関数、アドオンを使用してGoogle スプレッドシートからDatabricks のデータとやり取りします。CData API Server は、ADO.NET Provider for Databricks（またはその他の250+ ADO.NET Providers）と組み合わせることで、Google Sheets のようなクラウドベースのモバイルアプリケーションからDatabricks のデータに接続できるようになります。API Server は、Databricks およびCData ADO.NET Providers にサポートされるすべてのソースのOData サービスを生成する軽量のWeb アプリケーションです。

Google Apps Script（GAS）は、これらのOData サービスをJSON 形式で利用できます。この記事では、Google スプレッドシートにCustomers データを取り込み、変更を加えたときにDatabricks のデータの更新を実行するシンプルなアドオンを作成する方法を説明します。

はじめに

---

API Server の設定

以下のリンクからAPI Server の無償トライアルをスタートしたら、セキュアなDatabricks OData サービスを作成していきましょう。

Databricks への接続

GAS からDatabricks のデータを操作するには、まずDatabricks への接続を作成・設定します。

1. API Server にログインして、「Connections」をクリック、さらに「接続を追加」をクリックします。
2. 「接続を追加」をクリックして、データソースがAPI Server に事前にインストールされている場合は、一覧から「Databricks」を選択します。
3. 事前にインストールされていない場合は、コネクタを追加していきます。コネクタ追加の手順は以下の記事にまとめてありますので、ご確認ください。
   CData コネクタの追加方法はこちら >>
4. それでは、Databricks への接続設定を行っていきましょう！

5. Databricks 接続プロパティの取得・設定方法

   Databricks クラスターに接続するには、以下のプロパティを設定します。

   • Database：Databricks データベース名。
   • Server：Databricks クラスターのサーバーのホスト名。
   • HTTPPath：Databricks クラスターのHTTP パス。
   • Token：個人用アクセストークン。この値は、Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます。
   Databricks インスタンスで必要な値は、クラスターに移動して目的のクラスターを選択し、Advanced Options の下にあるJDBC/ODBC タブを選択することで見つけることができます。

   Databricks への認証

   CData は、次の認証スキームをサポートしています。

   • 個人用アクセストークン
   • Microsoft Entra ID（Azure AD）
   • Azure サービスプリンシパル
   • OAuthU2M
   • OAuthM2M

   個人用アクセストークン

   認証するには、次を設定します。

   • AuthScheme：PersonalAccessToken。
   • Token：Databricks サーバーへの接続に使用するトークン。Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます。

   その他の認証方法については、ヘルプドキュメント の「はじめに」セクションを参照してください。

6. 接続情報の入力が完了したら、「保存およびテスト」をクリックします。

Databricks 接続プロパティの取得・設定方法

Databricks クラスターに接続するには、以下のプロパティを設定します。

• Database：Databricks データベース名。
• Server：Databricks クラスターのサーバーのホスト名。
• HTTPPath：Databricks クラスターのHTTP パス。
• Token：個人用アクセストークン。この値は、Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます。

Databricks への認証

CData は、次の認証スキームをサポートしています。

• 個人用アクセストークン
• Microsoft Entra ID（Azure AD）
• Azure サービスプリンシパル
• OAuthU2M
• OAuthM2M

個人用アクセストークン

認証するには、次を設定します。

• AuthScheme：PersonalAccessToken。
• Token：Databricks サーバーへの接続に使用するトークン。Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます。

その他の認証方法については、ヘルプドキュメント の「はじめに」セクションを参照してください。

API Server のユーザー設定

次に、API Server 経由でDatabricks にアクセスするユーザーを作成します。「Users」ページでユーザーを追加・設定できます。やってみましょう。

1. 「Users」ページで ユーザーを追加をクリックすると、「ユーザーを追加」ポップアップが開きます。
2. 次に、「ロール」、「ユーザー名」、「権限」プロパティを設定し、「ユーザーを追加」をクリックします。
3. その後、ユーザーの認証トークンが生成されます。各ユーザーの認証トークンとその他の情報は「Users」ページで確認できます。

Databricks 用のAPI エンドポイントの作成

ユーザーを作成したら、Databricks のデータ用のAPI エンドポイントを作成していきます。

1. まず、「API」ページに移動し、 「 テーブルを追加」をクリックします。
2. アクセスしたい接続を選択し、次へをクリックします。
3. 接続を選択した状態で、各テーブルを選択して確認をクリックすることでエンドポイントを作成します。

OData のエンドポイントを取得

以上でDatabricks への接続を設定してユーザーを作成し、API Server でDatabricks データのAPI を追加しました。これで、OData 形式のDatabricks データをREST API で利用できます。API Server の「API」ページから、API のエンドポイントを表示およびコピーできます。

Databricks のデータを取得する

「Tools」->「Script Editor」とクリックして、スプレッドシートからScript Editor を開きます。Script Editor で次の機能を追加し、スプレッドシートにOData クエリの結果を入力します。

function retrieve(){
  var url = "https://MyUrl/api.rsc/Customers?select=Id,City,CompanyName,Country";
  var response = UrlFetchApp.fetch(url,{
    headers: {"Authorization":"Basic " + Utilities.base64Encode("MyUser:MyAuthtoken")}
  });
  var json = response.getContentText();
  var sheet = SpreadsheetApp.getActiveSheet();
  var a1 = sheet.getRange('a1');
  var index=1;
  var customers = JSON.parse(json).value;

  var cols = [["Id","City","CompanyName","Country"]];
  sheet.getRange(1,1,1,4).setValues(cols);

  row=2;
  for(var i in customers){
    for (var j in customers[i]) {
      switch (j) {
        case "Id":
          a1.offset(row,0).setValue(account[i][j]);
          break;
        case "City":
          a1.offset(row,1).setValue(account[i][j]);
          break;
        case "CompanyName":
          a1.offset(row,2).setValue(account[i][j]);
          break;
        case "Country":
          a1.offset(row,3).setValue(account[i][j]);
          break;
      }
    }
    row++;
  }
}

次のステップに従って、開いたタイミングでスプレッドシートに入力するインストール可能なトリガーを追加します。

1. 「Resources」->「Current Project's Triggers」->「Add a New Trigger」とクリックします。
2. 「Run」メニューで「retrieve」を選択します。
3. 「From Spreadsheet」を選択します。
4. 「On open」を選択します。

ダイアログを閉じると、アプリケーションへのアクセスを許可するように要求されます。

Databricks のデータへの変更を追加する

以下の関数を追加し、セルへの変更をAPI Server に追加します。

function buildReq(e){
  var sheet = SpreadsheetApp.getActiveSheet();
  var changes = e.range;
  var id = sheet.getRange(changes.getRow(),1).getValue();
  var col = sheet.getRange(1,changes.getColumn()).getValue();

  var url = "http://MyServer/api.rsc/Customers("+id+")";
  var putdata = "{\"@odata.type\" : \"CDataAPI.Customers\",  \""+col+"\": \""+changes.getValue()+"\"}";;
  UrlFetchApp.fetch(url,{
    method: "put",
    contentType: "application/json",
    payload: putdata,
    headers: {"Authorization":"Basic " + Utilities.base64Encode("MyUser:MyAuthtoken")}
  });

}

下記の手順に従って、アップデートトリガーを追加します。

1. 「Resources」->「Current Project's Triggers」とクリックします。
2. 「Run」メニューで「buildReqe」を選択します。
3. 「From Spreadsheet」を選択します。
4. 「On edit」を選択します。

「Publish」->「Test as Add-On」とクリックすることで、スクリプトを確認できます。バージョン、インストールタイプ、およびスプレッドシートを選択し、テストの構成を作成します。作成したら、選択して実行できます。

セルを変更すると、API Server はDatabricks のデータのアップデートを実行します。