Workato で Kafka のリアルタイムデータを使った自動ワークフローを構築
Workato は、アプリケーションの統合とワークフローの自動化を支援するクラウドベースの自動化プラットフォームです。CData Connect AI と組み合わせることで、クラウド間でリアルタイムにKafka のデータにアクセスし、ビジュアライゼーションやダッシュボードなどを作成できます。この記事では、Kafka に接続し、Workato でリアルタイムのKafka のデータを使ったワークフローを構築する方法をご紹介します。
CData Connect AI は、Kafka 向けに純粋な SQL Server インターフェースをクラウド間で提供します。Workato でリアルタイムのKafka のデータから簡単にビジュアライゼーションを作成できます。自動化を構築する際、Workato はデータを収集するための SQL クエリを生成します。Connect AI は、フィルタや JOIN などの SQL 操作をKafkaに直接プッシュする最適化されたデータ処理により、サーバーサイド処理を活用してKafka のデータをすばやく取得します。
Kafka への接続を設定（Workato 向け）
Workato から Kafka への接続は、CData Connect AI を介して行います。それでは、Kafka のデータを Workato から利用できるようにするため、Kafka への接続を作成していきましょう。
- Connect AI にログインして「Sources」をクリック、次に「 Add Connection」をクリック
- 接続を追加パネルから「Kafka」を選択
-
Kafka に接続するために必要な認証プロパティを入力します。
Apache Kafka 接続プロパティの取得・設定方法
それでは、Apache Kafka に接続していきましょう。.NET ベースのエディションは、Confluent.Kafka およびlibrdkafka ライブラリに依存して機能します。 これらのアセンブリはインストーラーにバンドルされており、CData 製品と一緒に自動的にインストールされます。 別のインストール方法をご利用の場合は、NuGet から依存関係のあるConfluent.Kafka 2.6.0をインストールしてください。
Apache Kafka サーバーのアドレスを指定するには、BootstrapServers パラメータを使用します。
デフォルトでは、CData 製品はデータソースとPLAINTEXT で通信しており、そのため、データはすべて暗号化されずに送信されます。 通信を暗号化したい場合は、以下の設定を行ってください：
- UseSSL をtrue に設定し、CData 製品がSSL 暗号化を使用するように構成します
- SSLServerCert およびSSLServerCertType を設定して、サーバー証明書をロードします
Apache Kafka への認証
続いて、認証方法を設定しましょう。Apache Kafka データソースでは、以下の認証方法をサポートしています：
- Anonymous
- Plain
- SCRAM ログインモジュール
- SSL クライアント証明書
- Kerberos
Anonymous 認証
Apache Kafka の特定のオンプレミスデプロイメントでは、認証接続プロパティを設定することなくApache Kafka に接続できます。 このような接続はanonymous（匿名）と呼ばれます。
匿名認証を行うには、以下のプロパティを設定してください。
- AuthScheme：None
その他の認証方法については、ヘルプドキュメントをご確認ください。
- 「Save & Test」をクリック
-
Kafka 接続の追加ページで「Permissions」タブに移動し、ユーザーベースの権限を更新します。
パーソナルアクセストークンを追加
REST API、OData API、または仮想 SQL Server を通じて Connect AI に接続する場合は、パーソナルアクセストークン（PAT）を使用して認証を行います。アクセス管理を細かく制御するため、サービスごとに個別の PAT を作成することをお勧めします。
- Connect AI アプリの右上にある歯車アイコン（）をクリックして設定ページを開きます。
- 設定ページで「Access Tokens」セクションに移動し、「 Create PAT」をクリックします。
-
PAT に名前を付けて「Create」をクリックします。
- パーソナルアクセストークンは作成時にのみ表示されます。必ずコピーして、今後の利用のために安全に保管してください。
接続の設定と PAT の生成が完了したら、Workato からKafka のデータに接続する準備は完了です。
Workato で Kafka ワークフローを自動化
Workato から CData Connect AI 仮想 SQL Server への接続を確立するには、以下の手順に従います。
- Workato にログインします。
- ナビゲーションバーで Projects をクリックします。
- 新規（または既存の）プロジェクトで、Create > Connection をクリックします。
- 検索バーに「SQL Server」と入力し、Connect to SQL Server 画面を開きます。
- Connect to SQL Server で、接続名と以下の接続設定を入力します。
- Location: プロジェクトの名前を入力
- Connection type: Cloud を選択
- Host: tds.cdata.com を入力
- Port: 14333 を入力
- Username: CData Connect AI のユーザー名を入力。CData Connect AI インターフェースの右上に表示されています（例: [email protected]）
- Password: 先ほど生成した PAT を入力
- Database: 接続したい CData Connect AI データソースの接続名を入力（例: ApacheKafka1）
- Connect をクリックして Connection established メッセージを確認します。
- 次に、レシピを設定します。プロジェクトで Create > Recipe をクリックします。
- Set up your recipe で、レシピの名前と場所を入力します。
- Run on a schedule を選択します。
- スケジュールで実行するアクションを選択します。
- Connect AI 接続からテーブルと適用するフィルタを選択します。
- Save をクリックしてレシピを保存します。
- Test Jobs をクリックしてレシピをテストします。
クラウドアプリケーションから Kafka へのリアルタイムアクセス
これで、Workato からワークフローと自動化用にKafka のデータへのダイレクトなクラウド間接続が完成しました。Workato などのクラウドアプリケーションから 100 以上の SaaS、ビッグデータ、NoSQL ソースへのライブアクセスの詳細については、Connect AI のページをご覧ください。