Dremio でKafka のデータに外部ソースとして接続

CData JDBC Driver for Apache Kafka はJDBC 標準を実装しており、Dremio を含むさまざまなアプリケーションでリアルタイムのKafka のデータを扱えるようにします。Dremio は、データレイク上でのセルフサービス型インタラクティブ分析を実現するために設計されたデータレイクハウスプラットフォームです。CData JDBC ドライバーを使用することで、エンタープライズデータレイクの一部としてリアルタイムKafka のデータを活用できます。この記事では、Dremio でKafka のデータに外部ソースとして接続する方法について説明します。

CData JDBC Driver を使用すると、Dremio でリアルタイムKafka のデータへの高速アクセスが可能になります。ドライバーをインストールしてKafka で認証すれば、データレイク内でKafka のデータにすぐにアクセスできます。ネイティブのデータ型を使用してKafka のデータを表示し、複雑なフィルタ、集計、その他の操作を自動的に処理することで、CData JDBC Driver はKafka のデータへのシームレスなアクセスを提供します。

前提条件

この記事では、Docker を使用して Dremio を実行することを想定しています。以下のようなコマンドで Dremio サービスを含む Docker コンテナを作成できます。

docker run -d --name dremio -p 9047:9047 -p 31010:31010 dremio/dremio-oss

ここで、dremio はコンテナの名前、9047 は Dremio Web インターフェース用のコンテナポート、31010 は Dremio クエリサービスにマッピングされるポートです。dremio/dremio-oss は使用するイメージを指定します。

ARP コネクタのビルド

CData JDBC Driver を Dremio で使用するには、Advanced Relation Pushdown（ARP）コネクタをビルドする必要があります。GitHub でソースコードを確認するか、ZIP ファイル（GitHub.com）を直接ダウンロードできます。ファイルをコピーまたは展開したら、コネクタのルートディレクトリ（pom.xml ファイルがあるディレクトリ）から以下のコマンドを実行してコネクタをビルドします。

mvn clean install

NOTE：CData ARP コネクタは Java 11 でコンパイルするようにビルドされています。Java 11 をインストールし、正しいバージョンを使用していることを確認してください。以下のようなコマンドで Java バージョンを更新できます。

sudo update-alternatives --config java

コネクタ用の JAR ファイルが（target ディレクトリに）ビルドされたら、ARP コネクタと JDBC Driver を Dremio インスタンスにコピーする準備が整いました。

コネクタと JDBC Driver のインストール

ARP コネクタを %DREMIO_HOME%/jars/ に、Kafka 用の JDBC Driver を %DREMIO_HOME%/jars/3rdparty にインストールします。以下のようなコマンドを使用できます。

ARP コネクタ

docker cp PATH\TO\dremio-apachekafka-plugin-{DREMIO_VERSION}.jar dremio_image_name:/opt/dremio/jars/

Kafka 用 JDBC Driver

docker cp PATH\TO\cdata.jdbc.apachekafka.jar dremio_image_name:/opt/dremio/jars/3rdparty/

Kafka への接続

これで、Dremio の外部ソースオプションに Kafka が表示されるようになりました。ビルドした ARP コネクタは、JDBC URL を使用してKafka のデータに接続します。JDBC Driver には、接続文字列を作成できるビルトインの接続文字列デザイナーがあります（以下を参照）。

ビルトイン接続文字列デザイナー

JDBC URL の構成については、Kafka JDBC Driver に組み込まれている接続文字列デザイナーを使用してください。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行します。

java -jar cdata.jdbc.apachekafka.jar

接続プロパティを入力し、接続文字列をクリップボードにコピーします。

Apache Kafka 接続プロパティの取得・設定方法

それでは、Apache Kafka に接続していきましょう。.NET ベースのエディションは、Confluent.Kafka およびlibrdkafka ライブラリに依存して機能します。 これらのアセンブリはインストーラーにバンドルされており、CData 製品と一緒に自動的にインストールされます。 別のインストール方法をご利用の場合は、NuGet から依存関係のあるConfluent.Kafka 2.6.0をインストールしてください。

Apache Kafka サーバーのアドレスを指定するには、BootstrapServers パラメータを使用します。

デフォルトでは、CData 製品はデータソースとPLAINTEXT で通信しており、これはすべてのデータが暗号化なしで送信されることを意味します。 通信を暗号化したい場合は、以下の設定を行ってください：

1. UseSSL をtrue に設定し、CData 製品がSSL 暗号化を使用するように構成します
2. SSLServerCert およびSSLServerCertType を設定して、サーバー証明書をロードします

Apache Kafka への認証

続いて、認証方法を設定しましょう。Apache Kafka データソースでは、以下の認証方法をサポートしています：

• Anonymous
• Plain
• SCRAM ログインモジュール
• SSL クライアント証明書
• Kerberos

Anonymous 認証

Apache Kafka の特定のオンプレミスデプロイメントでは、認証接続プロパティを設定することなくApache Kafka に接続できます。 このような接続はanonymous（匿名）と呼ばれます。

匿名認証を行うには、以下のプロパティを設定してください。

• AuthScheme：None

その他の認証方法については、ヘルプドキュメントをご確認ください。

NOTE：Dremio で JDBC Driver を使用するには、ライセンス（正式版または評価版）とランタイムキー（RTK）が必要です。このライセンス（または評価版）の取得については、営業チームにお問い合わせください。

ランタイムキー（RTK）を JDBC URL に追加します。最終的に、以下のような JDBC URL になります。

jdbc:apachekafka:RTK=5246...;User=admin;Password=pass;BootStrapServers=https://localhost:9091;Topic=MyTopic;

Kafka に外部ソースとしてアクセス

Kafka を外部ソースとして追加するには、新しいソースを追加するためにクリックし、ApacheKafka を選択します。JDBC URL をコピーして、New ApacheKafka Source ウィザードに貼り付けます。

接続を保存すれば、Dremio でリアルタイムKafka のデータをクエリする準備が整い、Kafka のデータをデータレイクに簡単に取り込むことができます。

詳細情報と無償トライアル

Dremio で CData JDBC Driver for Apache Kafka を使用すると、リアルタイムKafka のデータをデータレイクに取り込むことができます。Kafka への接続の詳細については、CData JDBC Driver for Apache Kafka ページをご覧ください。CData JDBC Driver for Apache Kafka の30日間無償トライアルをダウンロードして、今すぐ始めましょう。