BigQuery のデータ を Teradata に自動でレプリケーションする方法

Cameron Leblanc
Cameron Leblanc
Technology Evangelist
CData Sync を使って、BigQuery のデータ を Teradata にカスタマイズ可能な自動レプリケーションを実現する方法を解説します。

常時稼働のアプリケーションには、自動フェイルオーバー機能とリアルタイムのデータアクセスが欠かせません。CData Sync を使えば、Teradata インスタンスにBigQuery のデータをリアルタイムで統合できます。すべてのデータを1カ所に集約し、アーカイブ、レポーティング、分析、機械学習、AI などさまざまな用途に活用できます。

BigQuery データ連携について

CData は、Google BigQuery のライブデータへのアクセスと統合を簡素化します。お客様は CData の接続機能を以下の目的で活用しています：

  • OAuth、OAuth JWT、GCP インスタンスなど、すぐに使える幅広い認証スキームのサポートにより、BigQuery へのアクセスを簡素化します。
  • BigQuery と他のアプリケーション間の双方向データアクセスにより、データワークフローを強化します。
  • SQL ストアドプロシージャを通じて、ジョブの開始・取得・キャンセル、テーブルの削除、ジョブロードの挿入など、主要な BigQuery アクションを実行できます。

多くの CData のお客様は、Google BigQuery をデータウェアハウスとして使用しており、CData ソリューションを使用して、別々のソースからビジネスデータを BigQuery に移行し、包括的な分析を行っています。また、BigQuery データの分析やレポート作成に当社の接続機能を使用するお客様も多く、両方のソリューションを使用しているお客様も多数います。

CData が Google BigQuery 体験をどのように向上させるかについての詳細は、ブログ記事をご覧ください：https://jp.cdata.com/blog/what-is-bigquery


はじめに


Teradata を同期先として設定する

CData Sync を使って、BigQuery のデータ を Teradata にレプリケーションできます。同期先を追加するには、接続タブに移動します。

  1. 接続の追加をクリックします。
  2. 同期先タブを選択し、Teradata コネクタを探します。
  3. 該当行の末尾にある接続の設定アイコンをクリックして、新しい接続ページを開きます。接続の設定アイコンが表示されていない場合は、コネクタのダウンロードアイコンをクリックして Teradata コネクタをインストールします。新しいコネクタのインストールについて詳しくは、ヘルプドキュメントの「接続」セクションをご覧ください。
  4. Teradata に接続するには、以下の接続プロパティを設定します：
    • Connection Name：任意の接続名を入力します。
    • Data Source：Teradata サーバー名、データベースコンピュータ（DBC）ユーザー名、または Teradata Director Program Id（TDPID）を入力します。
    • User：Teradata アカウントで認証するためのユーザー名を入力します。
    • Password：Teradata アカウントで認証するためのパスワードを入力します。
    • Auth Scheme：認証スキームを選択します。Sync で利用可能な認証スキームは TD2 と LDAP です。TD2 がデフォルトのスキームです。
    • Database：Teradata データベースの名前を入力します。

      Note：データベースを指定しない場合、CData Sync はデフォルトのデータベースに接続します。

    • Port：Teradata サーバーのポート番号を入力します。デフォルトのポート値は 1025 です。
  5. 接続が確立されたら、作成およびテストをクリックして接続を作成、テスト、保存します。

これで Teradata に接続され、データソースとしても同期先としても使用できるようになりました。

NOTE：ラベル機能を使って、データソースや同期先にラベルを追加できます。

この記事では、BigQuery のデータ を Teradata にロードし、同期先として活用する方法をご紹介します。

BigQuery への接続を設定する

BigQuery への接続は、接続タブから設定できます。BigQuery アカウントへの接続を追加するには、接続タブに移動します。

  1. 接続の追加をクリックします。
  2. データソース（BigQuery）を選択します。
  3. 接続プロパティを設定します。

    BigQuery 接続プロパティの取得・設定方法

    Google BigQuery はOAuth 認証標準を使用します。個々のユーザーとしてGoogle API にアクセスするには、組み込みクレデンシャルを使うか、OAuth アプリを作成します。

    OAuth では、Google Apps ドメインのユーザーとしてサービスアカウントを使ってアクセスすることもできます。サービスカウントでの認証では、OAuth JWT を取得するためのアプリケーションを登録する必要があります。

    OAuth 値に加え、DatasetId、ProjectId を設定する必要があります。詳細はヘルプドキュメントの「はじめに」を参照してください。

  4. BigQuery に接続をクリックして、接続が正しく設定されていることを確認します。
  5. 作成およびテストをクリックして変更を保存します。

レプリケーションクエリの設定

CData Sync では、ポイント＆クリック操作と SQL クエリの両方でレプリケーションを制御できます。レプリケーションを設定するには、ジョブタブに移動し、ジョブを追加をクリックします。レプリケーションのデータソースと同期先を選択します。

テーブル全体をレプリケーションする

テーブル全体をレプリケーションするには、ジョブのタスクタブでタスクを追加をクリックし、Teradata にレプリケーションしたい BigQuery テーブルをリストから選択して、再度タスクを追加をクリックします。

レプリケーションのカスタマイズ

タスクのカラムタブとクエリタブを使って、レプリケーションをカスタマイズできます。カラムタブでは、レプリケーションするカラムの指定、同期先でのカラム名の変更、レプリケーション前のデータ操作などが可能です。クエリタブでは、SQL クエリを使ってフィルタ、グループ化、ソートを追加できます。

レプリケーションのスケジュール

ジョブの概要タブを選択し、スケジュールの下にある設定をクリックします。10分ごとから月1回まで、指定した間隔でジョブを自動実行するようにスケジュールできます。

レプリケーションジョブを設定したら、変更を保存をクリックします。BigQuery のデータ から Teradata へのレプリケーションを管理するジョブをいくつでも設定できます。

レプリケーションジョブの実行

ジョブに必要なすべての設定が完了したら、レプリケーションしたい BigQuery テーブルを選択し、実行をクリックします。レプリケーションが正常に完了すると、ジョブの実行時間とレプリケーションされた行数を示す通知が表示されます。

無料トライアル & 詳細情報

BigQuery のデータ を Teradata にレプリケーションする方法をご覧いただきました。CData Sync ページで詳細をご確認いただき、30日間の無料トライアルをダウンロードして、エンタープライズデータの統合を始めましょう。

ご不明な点がございましたら、サポートチームがいつでもお手伝いいたします。

はじめる準備はできましたか？

詳細はこちら、または無料トライアルにお申し込みください：

CData Sync お問い合わせ

この記事の内容

関連記事