Zapier で Spark 連携の自動ワークフローを構築

Jerod Johnson
Senior Technology Evangelist

CData Connect AI を使用してリアルタイムのSpark のデータに接続し、Zapier で自動ワークフローを構築する方法を解説します。

Zapier は、アプリとサービスを連携させるオンライン自動化ツールです。CData Connect AI と組み合わせることで、ワークフローでリアルタイムのSpark のデータにアクセスできます。この記事では、Spark に接続し、Zapier でリアルタイムのSpark のデータを使ったワークフローを構築する方法をご紹介します。

Zapier から Spark に接続

Zapier で Spark を使用するには、Connect AI から Spark に接続し、接続へのユーザーアクセスを提供し、Spark のデータ用のワークスペースを作成する必要があります。

Connect AI から Spark に接続

CData Connect AI は、シンプルなポイント＆クリックのインターフェースでデータソースに接続できます。

Connect AI にログインして「Sources」をクリック、次に「 Add Connection」をクリック

接続を追加パネルから「Spark」を選択

Spark に接続するために必要な認証プロパティを入力します。
SparkSQL への接続

SparkSQL への接続を確立するには以下を指定します。
- Server：SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
- Port：SparkSQL インスタンスへの接続用のポートに設定。
- TransportMode：SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
- AuthScheme：使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。
Databricks への接続

Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note：必要な値は、「クラスター」に移動して目的のクラスターを選択し、「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。
- Server：Databricks クラスターのサーバーのホスト名に設定。
- Port：443
- TransportMode：HTTP
- HTTPPath：Databricks クラスターのHTTP パスに設定。
- UseSSL：True
- AuthScheme：PLAIN
- User：'token' に設定。
- Password：パーソナルアクセストークンに設定（値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます）。
「Save & Test」をクリック
Spark 接続の追加ページで「Permissions」タブに移動し、ユーザーベースの権限を更新します。

パーソナルアクセストークンを追加

REST API、OData API、または仮想 SQL Server を通じて Connect AI に接続する場合は、パーソナルアクセストークン（PAT）を使用して認証を行います。アクセス管理を細かく制御するため、サービスごとに個別の PAT を作成することをお勧めします。

Connect AI アプリの右上にある歯車アイコン（）をクリックして設定ページを開きます。
設定ページで「Access Tokens」セクションに移動し、「 Create PAT」をクリックします。
PAT に名前を付けて「Create」をクリックします。
パーソナルアクセストークンは作成時にのみ表示されます。必ずコピーして、今後の利用のために安全に保管してください。

Zapier 向けに Spark エンドポイントを設定

Spark への接続が完了したら、使用したいテーブル用のワークスペースを作成します。

「Workspaces」ページに移動し、「 Add」をクリックして新しいワークスペースを作成します（または既存のワークスペースを選択）。
「 Add」をクリックして、ワークスペースに新しいアセットを追加します。
Spark 接続（例: SparkSQL1）を選択し、「Next」をクリックします。
使用したいテーブルを選択し、「Confirm」をクリックします。
ワークスペースの OData Service URL をメモしておきます（例: https://cloud.cdata.com/api/odata/{workspace_name}）

接続、PAT、ワークスペースの設定が完了したら、Zapier からSpark のデータに接続する準備は完了です。

Zapier ワークフローで Spark に接続

Zapier から CData Connect AI への OData プロトコル経由での接続を確立するには、以下の手順に従います。

Zapier にログインします。
Create Zap をクリックします。
表示されるダイアログで「Webhooks by Zapier」を検索し、下に表示されるオプションをクリックします。
Event で Retrieve Poll を選択します。
接続の詳細を入力します。
- URL: OData URL を入力（例: https://cloud.cdata.com/api/odata/{workspace_name}）
- Key: 「value.name」と入力
- Authentication details: Basic Auth または Headers を入力します。Basic オプションでは、ユーザー（Connect AI のユーザー名、例: [email protected]）とパスワード（先ほど作成した PAT）をパイプ記号 | で区切って指定します。Headers オプションでは、エンコードされた認証情報を含むリクエストタイプヘッダーを指定します。
Test をクリックします。接続が正しく設定されていれば、サンプルレコードが表示されます。