Workato で Spark のリアルタイムデータを使った自動ワークフローを構築
Workato は、アプリケーションの統合とワークフローの自動化を支援するクラウドベースの自動化プラットフォームです。CData Connect AI と組み合わせることで、クラウド間でリアルタイムにSpark のデータにアクセスし、ビジュアライゼーションやダッシュボードなどを作成できます。この記事では、Spark に接続し、Workato でリアルタイムのSpark のデータを使ったワークフローを構築する方法をご紹介します。
CData Connect AI は、Spark 向けに純粋な SQL Server インターフェースをクラウド間で提供します。Workato でリアルタイムのSpark のデータから簡単にビジュアライゼーションを作成できます。自動化を構築する際、Workato はデータを収集するための SQL クエリを生成します。Connect AI は、フィルタや JOIN などの SQL 操作をSparkに直接プッシュする最適化されたデータ処理により、サーバーサイド処理を活用してSpark のデータをすばやく取得します。
Spark への接続を設定（Workato 向け）
Workato から Spark への接続は、CData Connect AI を介して行います。それでは、Spark のデータを Workato から利用できるようにするため、Spark への接続を作成していきましょう。
- Connect AI にログインして「Sources」をクリック、次に「 Add Connection」をクリック
- 接続を追加パネルから「Spark」を選択
-
Spark に接続するために必要な認証プロパティを入力します。
SparkSQL への接続
SparkSQL への接続を確立するには以下を指定します。
- Server：SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
- Port：SparkSQL インスタンスへの接続用のポートに設定。
- TransportMode：SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
- AuthScheme：使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。
Databricks への接続
Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note：必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。
- Server：Databricks クラスターのサーバーのホスト名に設定。
- Port：443
- TransportMode：HTTP
- HTTPPath：Databricks クラスターのHTTP パスに設定。
- UseSSL：True
- AuthScheme：PLAIN
- User：'token' に設定。
- Password：パーソナルアクセストークンに設定（値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます）。
- 「Save & Test」をクリック
-
Spark 接続の追加ページで「Permissions」タブに移動し、ユーザーベースの権限を更新します。
パーソナルアクセストークンを追加
REST API、OData API、または仮想 SQL Server を通じて Connect AI に接続する場合は、パーソナルアクセストークン（PAT）を使用して認証を行います。アクセス管理を細かく制御するため、サービスごとに個別の PAT を作成することをお勧めします。
- Connect AI アプリの右上にある歯車アイコン（）をクリックして設定ページを開きます。
- 設定ページで「Access Tokens」セクションに移動し、「 Create PAT」をクリックします。
-
PAT に名前を付けて「Create」をクリックします。
- パーソナルアクセストークンは作成時にのみ表示されます。必ずコピーして、今後の利用のために安全に保管してください。
接続の設定と PAT の生成が完了したら、Workato からSpark のデータに接続する準備は完了です。
Workato で Spark ワークフローを自動化
Workato から CData Connect AI 仮想 SQL Server への接続を確立するには、以下の手順に従います。
- Workato にログインします。
- ナビゲーションバーで Projects をクリックします。
- 新規（または既存の）プロジェクトで、Create > Connection をクリックします。
- 検索バーに「SQL Server」と入力し、Connect to SQL Server 画面を開きます。
- Connect to SQL Server で、接続名と以下の接続設定を入力します。
- Location: プロジェクトの名前を入力
- Connection type: Cloud を選択
- Host: tds.cdata.com を入力
- Port: 14333 を入力
- Username: CData Connect AI のユーザー名を入力。CData Connect AI インターフェースの右上に表示されています（例: [email protected]）
- Password: 先ほど生成した PAT を入力
- Database: 接続したい CData Connect AI データソースの接続名を入力（例: SparkSQL1）
- Connect をクリックして Connection established メッセージを確認します。
- 次に、レシピを設定します。プロジェクトで Create > Recipe をクリックします。
- Set up your recipe で、レシピの名前と場所を入力します。
- Run on a schedule を選択します。
- スケジュールで実行するアクションを選択します。
- Connect AI 接続からテーブルと適用するフィルタを選択します。
- Save をクリックしてレシピを保存します。
- Test Jobs をクリックしてレシピをテストします。
クラウドアプリケーションから Spark へのリアルタイムアクセス
これで、Workato からワークフローと自動化用にSpark のデータへのダイレクトなクラウド間接続が完成しました。Workato などのクラウドアプリケーションから 100 以上の SaaS、ビッグデータ、NoSQL ソースへのライブアクセスの詳細については、Connect AI のページをご覧ください。