Zapier で Kafka 連携の自動ワークフローを構築
Zapier は、アプリとサービスを連携させるオンライン自動化ツールです。CData Connect AI と組み合わせることで、ワークフローでリアルタイムのKafka のデータにアクセスできます。この記事では、Kafka に接続し、Zapier でリアルタイムのKafka のデータを使ったワークフローを構築する方法をご紹介します。
Zapier から Kafka に接続
Zapier で Kafka を使用するには、Connect AI から Kafka に接続し、接続へのユーザーアクセスを提供し、Kafka のデータ用のワークスペースを作成する必要があります。
Connect AI から Kafka に接続
CData Connect AI は、シンプルなポイント&クリックのインターフェースでデータソースに接続できます。
- Connect AI にログインして「Sources」をクリック、次に「 Add Connection」をクリック
- 接続を追加パネルから「Kafka」を選択
-
Kafka に接続するために必要な認証プロパティを入力します。
Apache Kafka 接続プロパティの取得・設定方法
それでは、Apache Kafka に接続していきましょう。.NET ベースのエディションは、Confluent.Kafka およびlibrdkafka ライブラリに依存して機能します。 これらのアセンブリはインストーラーにバンドルされており、CData 製品と一緒に自動的にインストールされます。 別のインストール方法をご利用の場合は、NuGet から依存関係のあるConfluent.Kafka 2.6.0をインストールしてください。
Apache Kafka サーバーのアドレスを指定するには、BootstrapServers パラメータを使用します。
デフォルトでは、CData 製品はデータソースとPLAINTEXT で通信しており、そのため、データはすべて暗号化されずに送信されます。 通信を暗号化したい場合は、以下の設定を行ってください:
- UseSSL をtrue に設定し、CData 製品がSSL 暗号化を使用するように構成します
- SSLServerCert およびSSLServerCertType を設定して、サーバー証明書をロードします
Apache Kafka への認証
続いて、認証方法を設定しましょう。Apache Kafka データソースでは、以下の認証方法をサポートしています:
- Anonymous
- Plain
- SCRAM ログインモジュール
- SSL クライアント証明書
- Kerberos
Anonymous 認証
Apache Kafka の特定のオンプレミスデプロイメントでは、認証接続プロパティを設定することなくApache Kafka に接続できます。 このような接続はanonymous(匿名)と呼ばれます。
匿名認証を行うには、以下のプロパティを設定してください。
- AuthScheme:None
その他の認証方法については、ヘルプドキュメントをご確認ください。
- 「Save & Test」をクリック
-
Kafka 接続の追加ページで「Permissions」タブに移動し、ユーザーベースの権限を更新します。
パーソナルアクセストークンを追加
REST API、OData API、または仮想 SQL Server を通じて Connect AI に接続する場合は、パーソナルアクセストークン(PAT)を使用して認証を行います。アクセス管理を細かく制御するため、サービスごとに個別の PAT を作成することをお勧めします。
- Connect AI アプリの右上にある歯車アイコン()をクリックして設定ページを開きます。
- 設定ページで「Access Tokens」セクションに移動し、「 Create PAT」をクリックします。
-
PAT に名前を付けて「Create」をクリックします。
- パーソナルアクセストークンは作成時にのみ表示されます。必ずコピーして、今後の利用のために安全に保管してください。
Zapier 向けに Kafka エンドポイントを設定
Kafka への接続が完了したら、使用したいテーブル用のワークスペースを作成します。
-
「Workspaces」ページに移動し、「 Add」をクリックして新しいワークスペースを作成します(または既存のワークスペースを選択)。
- 「 Add」をクリックして、ワークスペースに新しいアセットを追加します。
-
Kafka 接続(例: ApacheKafka1)を選択し、「Next」をクリックします。
-
使用したいテーブルを選択し、「Confirm」をクリックします。
- ワークスペースの OData Service URL をメモしておきます(例: https://cloud.cdata.com/api/odata/{workspace_name})
接続、PAT、ワークスペースの設定が完了したら、Zapier からKafka のデータに接続する準備は完了です。
Zapier ワークフローで Kafka に接続
Zapier から CData Connect AI への OData プロトコル経由での接続を確立するには、以下の手順に従います。
- Zapier にログインします。
- Create Zap をクリックします。
- 表示されるダイアログで「Webhooks by Zapier」を検索し、下に表示されるオプションをクリックします。
- Event で Retrieve Poll を選択します。
- 接続の詳細を入力します。
- URL: OData URL を入力(例: https://cloud.cdata.com/api/odata/{workspace_name})
- Key: 「value.name」と入力
- Authentication details: Basic Auth または Headers を入力します。Basic オプションでは、ユーザー(Connect AI のユーザー名、例: [email protected])とパスワード(先ほど作成した PAT)をパイプ記号 | で区切って指定します。Headers オプションでは、エンコードされた認証情報を含むリクエストタイプヘッダーを指定します。
- Test をクリックします。接続が正しく設定されていれば、サンプルレコードが表示されます。
クラウドアプリケーションから Kafka への簡単なアクセス
これで、Zapier からKafka のデータへのダイレクトなクラウド間接続が完成しました。Zapier などのクラウドアプリケーションから 100 以上の SaaS、ビッグデータ、NoSQL ソースへの簡単なデータアクセスの詳細については、Connect AI のページをご覧ください。