Grafana で Kafka 連携ダッシュボードを作成

Cameron Leblanc
Cameron Leblanc
Senior Technology Evangelist
Grafana で CData Connect AI を介して Kafka のデータ に接続し、Kafka のデータ にリアルタイムアクセスできるカスタムビジネスダッシュボードを作成します。

Grafana は、さまざまなデータソースからのテレメトリを分析、監視、可視化できるオープンソースプラットフォームです。CData Connect AI と組み合わせることで、ビジネスダッシュボードから Kafka のデータ に即座にアクセスできます。この記事では、Connect AI を使用して Kafka に接続し、Grafana 内で Kafka のデータ から基本的なダッシュボードを作成する手順を解説します。

CData Connect AI は、Kafka を含む数百のデータソースをSQL Server 互換エンドポイントとして公開するクラウドサービスです。Grafana からは通常のSQL Server と同じ手順で接続でき、レプリケーション不要でライブのKafka のデータを利用できます。

Kafka 接続を Grafana 用に構成

Grafana から Kafka への接続は、CData Connect AI を介して実現されます。Grafana から Kafka のデータ を操作するには、まず Kafka の接続を作成して構成します。

  1. Connect AI にログインし、Sources をクリックしてから、 Add Connection をクリックします
    2. 接続の追加
  2. Add Connection パネルから「Kafka」を選択します
    3. データソースの選択
  3. Kafka に接続するために必要な認証プロパティを入力します。

    Apache Kafka 接続プロパティの取得・設定方法

    それでは、Apache Kafka に接続していきましょう。.NET ベースのエディションは、Confluent.Kafka およびlibrdkafka ライブラリに依存して機能します。 これらのアセンブリはインストーラーにバンドルされており、CData 製品と一緒に自動的にインストールされます。 別のインストール方法をご利用の場合は、NuGet から依存関係のあるConfluent.Kafka 2.6.0をインストールしてください。

    Apache Kafka サーバーのアドレスを指定するには、BootstrapServers パラメータを使用します。

    デフォルトでは、CData 製品はデータソースとPLAINTEXT で通信しており、そのため、データはすべて暗号化されずに送信されます。 通信を暗号化したい場合は、以下の設定を行ってください：

    1. UseSSL をtrue に設定し、CData 製品がSSL 暗号化を使用するように構成します
    2. SSLServerCert およびSSLServerCertType を設定して、サーバー証明書をロードします

    Apache Kafka への認証

    続いて、認証方法を設定しましょう。Apache Kafka データソースでは、以下の認証方法をサポートしています：

    • Anonymous
    • Plain
    • SCRAM ログインモジュール
    • SSL クライアント証明書
    • Kerberos

    Anonymous 認証

    Apache Kafka の特定のオンプレミスデプロイメントでは、認証接続プロパティを設定することなくApache Kafka に接続できます。 このような接続はanonymous（匿名）と呼ばれます。

    匿名認証を行うには、以下のプロパティを設定してください。

    • AuthScheme：None

    その他の認証方法については、ヘルプドキュメントをご確認ください。

    接続の構成（Salesforce を例に表示）
  4. Save & Test をクリックします
  5. Add Kafka Connection ページの Permissions タブに移動し、User-based permissions を更新します。 権限の更新

パーソナルアクセストークンの追加

REST API、OData API、または仮想 SQL Server を介して Connect AI に接続する場合、パーソナルアクセストークン（PAT）を使用して Connect AI への接続を認証します。アクセスの細かい制御を維持するため、各サービスごとに個別の PAT を作成することをお勧めします。

  1. Connect AI アプリの右上にある歯車アイコン（）をクリックして、設定ページを開きます。
  2. 設定ページで Access Tokens セクションに移動し、 Create PAT をクリックします。
  3. PAT に名前を付けて、Create をクリックします。 新しい PAT の作成
  4. パーソナルアクセストークンは作成時にのみ表示されるため、必ずコピーして安全な場所に保管しておいてください。

接続の構成と PAT の生成が完了したら、Grafana から Kafka のデータ に接続する準備が整いました。

Grafana でリアルタイムの Kafka のデータ を可視化

Grafana から CData Connect AI 仮想 SQL Server API への接続を確立するには、以下の手順に従います。

  1. まだインストールしていない場合は、Grafana のウェブサイトからお使いの OS 用の Grafana をダウンロードしてインストールします。インストール後、http://localhost:3000/ で Grafana にアクセスします。
  2. Grafana のユーザー名とパスワードでログインします。初回ログインの場合、ユーザー名は admin、パスワードは admin です。
  3. ナビゲーションメニューで、Sources > Add new connection をクリックします。このページで Microsoft SQL Server を検索し、データソースとして選択します。 Grafana で新しい接続を追加
  4. Microsoft SQL Server を選択し、Add new data source をクリックします。 Grafana で新しい接続を追加
  5. 新しいデータソースの名前を入力し、以下の接続設定を入力します：
    • Host：tds.cdata.com:14333
    • Database：接続したい CData Connect AI データソースの接続名を入力します（例：ApacheKafka1）。
    • Username：CData Connect AI のユーザー名を入力します。これは CData Connect AI インターフェースの右上に表示されています。例：[email protected]
    • Password：先ほど生成した PAT を入力します。
      • Connect AI 仮想 SQL Server API への接続を構成（Salesforce を例に表示）
  6. Save & Test をクリックします。接続が正常に確立されると、Database Connect OK メッセージが表示されます。

ダッシュボードの作成

Kafka 用のデータソースを作成したら、Kafka のデータ でダッシュボードの構築を開始できます。ナビゲーションメニューで Dashboards をクリックして開始します。

  1. Dashboards ページで、+ Create dashboard をクリックし、次に + Add visualization をクリックします。
  2. Select data source ウィンドウが開き、作成した接続を選択できます。 接続を選択（Salesforce を例に表示）
  3. 接続を選択したら、可視化用にクエリするテーブルとカラムを選択できます。Run Query を押して生成されたクエリを実行します。 クエリするテーブルとカラムを選択（Salesforce を例に表示）
  4. クエリを実行すると、結果データがクエリエディターの上に表示されます。ここで、ダッシュボードパネルにデータを表示するための可視化タイプを選択できます。 クエリしたデータを可視化（Salesforce を例に表示）
  5. パネルの編集が完了したら、Save dashboard をクリックしてダッシュボードへの変更を保存できます。

数百種類の SaaS、ビッグデータ、NoSQL ソースへのリアルタイムデータアクセスをクラウドアプリケーションから直接取得するには、CData Connect AI をぜひお試しください！

はじめる準備はできましたか？

CData Connect AI の詳細、または無料トライアルにお申し込みください：

無料トライアル

この記事の内容

関連記事