Spark のデータ を Teradata に自動でレプリケーションする方法
常時稼働のアプリケーションには、自動フェイルオーバー機能とリアルタイムのデータアクセスが欠かせません。CData Sync を使えば、Teradata インスタンスにSpark のデータをリアルタイムで統合できます。すべてのデータを1カ所に集約し、アーカイブ、レポーティング、分析、機械学習、AI などさまざまな用途に活用できます。
Teradata を同期先として設定する
CData Sync を使って、Spark のデータ を Teradata にレプリケーションできます。同期先を追加するには、接続タブに移動します。
- 接続の追加をクリックします。
- 同期先タブを選択し、Teradata コネクタを探します。
- 該当行の末尾にある接続の設定アイコンをクリックして、新しい接続ページを開きます。接続の設定アイコンが表示されていない場合は、コネクタのダウンロードアイコンをクリックして Teradata コネクタをインストールします。新しいコネクタのインストールについて詳しくは、ヘルプドキュメントの「接続」セクションをご覧ください。
- Teradata に接続するには、以下の接続プロパティを設定します：
- Connection Name：任意の接続名を入力します。
- Data Source：Teradata サーバー名、データベースコンピュータ（DBC）ユーザー名、または Teradata Director Program Id（TDPID）を入力します。
- User：Teradata アカウントで認証するためのユーザー名を入力します。
- Password：Teradata アカウントで認証するためのパスワードを入力します。
- Auth Scheme：認証スキームを選択します。Sync で利用可能な認証スキームは TD2 と LDAP です。TD2 がデフォルトのスキームです。
- Database：Teradata データベースの名前を入力します。
Note：データベースを指定しない場合、CData Sync はデフォルトのデータベースに接続します。
- Port：Teradata サーバーのポート番号を入力します。デフォルトのポート値は 1025 です。
- 接続が確立されたら、作成およびテストをクリックして接続を作成、テスト、保存します。
これで Teradata に接続され、データソースとしても同期先としても使用できるようになりました。
NOTE：ラベル機能を使って、データソースや同期先にラベルを追加できます。
この記事では、Spark のデータ を Teradata にロードし、同期先として活用する方法をご紹介します。
Spark への接続を設定する
Spark への接続は、接続タブから設定できます。Spark アカウントへの接続を追加するには、接続タブに移動します。
- 接続の追加をクリックします。
- データソース（Spark）を選択します。
- 接続プロパティを設定します。
SparkSQL への接続
SparkSQL への接続を確立するには以下を指定します。
- Server：SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
- Port：SparkSQL インスタンスへの接続用のポートに設定。
- TransportMode：SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
- AuthScheme：使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。
Databricks への接続
Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note：必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。
- Server：Databricks クラスターのサーバーのホスト名に設定。
- Port：443
- TransportMode：HTTP
- HTTPPath：Databricks クラスターのHTTP パスに設定。
- UseSSL：True
- AuthScheme：PLAIN
- User：'token' に設定。
- Password：パーソナルアクセストークンに設定（値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます）。
- Spark に接続をクリックして、接続が正しく設定されていることを確認します。
- 作成およびテストをクリックして変更を保存します。
レプリケーションクエリの設定
CData Sync では、ポイント＆クリック操作と SQL クエリの両方でレプリケーションを制御できます。レプリケーションを設定するには、ジョブタブに移動し、ジョブを追加をクリックします。レプリケーションのデータソースと同期先を選択します。
テーブル全体をレプリケーションする
テーブル全体をレプリケーションするには、ジョブのタスクタブでタスクを追加をクリックし、Teradata にレプリケーションしたい Spark テーブルをリストから選択して、再度タスクを追加をクリックします。
レプリケーションのカスタマイズ
タスクのカラムタブとクエリタブを使って、レプリケーションをカスタマイズできます。カラムタブでは、レプリケーションするカラムの指定、同期先でのカラム名の変更、レプリケーション前のデータ操作などが可能です。クエリタブでは、SQL クエリを使ってフィルタ、グループ化、ソートを追加できます。
レプリケーションのスケジュール
ジョブの概要タブを選択し、スケジュールの下にある設定をクリックします。10分ごとから月1回まで、指定した間隔でジョブを自動実行するようにスケジュールできます。
レプリケーションジョブを設定したら、変更を保存をクリックします。Spark のデータ から Teradata へのレプリケーションを管理するジョブをいくつでも設定できます。
レプリケーションジョブの実行
ジョブに必要なすべての設定が完了したら、レプリケーションしたい Spark テーブルを選択し、実行をクリックします。レプリケーションが正常に完了すると、ジョブの実行時間とレプリケーションされた行数を示す通知が表示されます。
無料トライアル & 詳細情報
Spark のデータ を Teradata にレプリケーションする方法をご覧いただきました。CData Sync ページで詳細をご確認いただき、30日間の無料トライアルをダウンロードして、エンタープライズデータの統合を始めましょう。
ご不明な点がございましたら、サポートチームがいつでもお手伝いいたします。