Kafka のデータ を Teradata に自動でレプリケーションする方法

常時稼働のアプリケーションには、自動フェイルオーバー機能とリアルタイムのデータアクセスが欠かせません。CData Sync を使えば、Teradata インスタンスにKafka のデータをリアルタイムで統合できます。すべてのデータを1カ所に集約し、アーカイブ、レポーティング、分析、機械学習、AI などさまざまな用途に活用できます。

Teradata を同期先として設定する

CData Sync を使って、Kafka のデータ を Teradata にレプリケーションできます。同期先を追加するには、接続タブに移動します。

1. 接続の追加をクリックします。
2. 同期先タブを選択し、Teradata コネクタを探します。
3. 該当行の末尾にある接続の設定アイコンをクリックして、新しい接続ページを開きます。接続の設定アイコンが表示されていない場合は、コネクタのダウンロードアイコンをクリックして Teradata コネクタをインストールします。新しいコネクタのインストールについて詳しくは、ヘルプドキュメントの「接続」セクションをご覧ください。
4. Teradata に接続するには、以下の接続プロパティを設定します：
   • Connection Name：任意の接続名を入力します。
   • Data Source：Teradata サーバー名、データベースコンピュータ（DBC）ユーザー名、または Teradata Director Program Id（TDPID）を入力します。
   • User：Teradata アカウントで認証するためのユーザー名を入力します。
   • Password：Teradata アカウントで認証するためのパスワードを入力します。
   • Auth Scheme：認証スキームを選択します。Sync で利用可能な認証スキームは TD2 と LDAP です。TD2 がデフォルトのスキームです。
   • Database：Teradata データベースの名前を入力します。

     Note：データベースを指定しない場合、CData Sync はデフォルトのデータベースに接続します。

   • Port：Teradata サーバーのポート番号を入力します。デフォルトのポート値は 1025 です。

5. 接続が確立されたら、作成およびテストをクリックして接続を作成、テスト、保存します。

これで Teradata に接続され、データソースとしても同期先としても使用できるようになりました。

NOTE：ラベル機能を使って、データソースや同期先にラベルを追加できます。

この記事では、Kafka のデータ を Teradata にロードし、同期先として活用する方法をご紹介します。

Kafka への接続を設定する

Kafka への接続は、接続タブから設定できます。Kafka アカウントへの接続を追加するには、接続タブに移動します。

1. 接続の追加をクリックします。
2. データソース（Kafka）を選択します。
3. 接続プロパティを設定します。
   
   

   Apache Kafka 接続プロパティの取得・設定方法

   それでは、Apache Kafka に接続していきましょう。.NET ベースのエディションは、Confluent.Kafka およびlibrdkafka ライブラリに依存して機能します。 これらのアセンブリはインストーラーにバンドルされており、CData 製品と一緒に自動的にインストールされます。 別のインストール方法をご利用の場合は、NuGet から依存関係のあるConfluent.Kafka 2.6.0をインストールしてください。

   Apache Kafka サーバーのアドレスを指定するには、BootstrapServers パラメータを使用します。

   デフォルトでは、CData 製品はデータソースとPLAINTEXT で通信しており、これはすべてのデータが暗号化なしで送信されることを意味します。 通信を暗号化したい場合は、以下の設定を行ってください：

   1. UseSSL をtrue に設定し、CData 製品がSSL 暗号化を使用するように構成します
   2. SSLServerCert およびSSLServerCertType を設定して、サーバー証明書をロードします

   Apache Kafka への認証

   続いて、認証方法を設定しましょう。Apache Kafka データソースでは、以下の認証方法をサポートしています：

   • Anonymous
   • Plain
   • SCRAM ログインモジュール
   • SSL クライアント証明書
   • Kerberos

   Anonymous 認証

   Apache Kafka の特定のオンプレミスデプロイメントでは、認証接続プロパティを設定することなくApache Kafka に接続できます。 このような接続はanonymous（匿名）と呼ばれます。

   匿名認証を行うには、以下のプロパティを設定してください。

   • AuthScheme：None

   その他の認証方法については、ヘルプドキュメントをご確認ください。

   
4. Kafka に接続をクリックして、接続が正しく設定されていることを確認します。
5. 作成およびテストをクリックして変更を保存します。

レプリケーションクエリの設定

CData Sync では、ポイント＆クリック操作と SQL クエリの両方でレプリケーションを制御できます。レプリケーションを設定するには、ジョブタブに移動し、ジョブを追加をクリックします。レプリケーションのデータソースと同期先を選択します。

テーブル全体をレプリケーションする

テーブル全体をレプリケーションするには、ジョブのタスクタブでタスクを追加をクリックし、Teradata にレプリケーションしたい Kafka テーブルをリストから選択して、再度タスクを追加をクリックします。

レプリケーションのカスタマイズ

レプリケーションのスケジュール

ジョブの概要タブを選択し、スケジュールの下にある設定をクリックします。10分ごとから月1回まで、指定した間隔でジョブを自動実行するようにスケジュールできます。

レプリケーションジョブを設定したら、変更を保存をクリックします。Kafka のデータ から Teradata へのレプリケーションを管理するジョブをいくつでも設定できます。

レプリケーションジョブの実行

ジョブに必要なすべての設定が完了したら、レプリケーションしたい Kafka テーブルを選択し、実行をクリックします。レプリケーションが正常に完了すると、ジョブの実行時間とレプリケーションされた行数を示す通知が表示されます。

無料トライアル & 詳細情報

Kafka のデータ を Teradata にレプリケーションする方法をご覧いただきました。CData Sync ページで詳細をご確認いただき、30日間の無料トライアルをダウンロードして、エンタープライズデータの統合を始めましょう。

ご不明な点がございましたら、サポートチームがいつでもお手伝いいたします。