Amazon Athena のデータ を Teradata に自動でレプリケーションする方法

Cameron Leblanc
Cameron Leblanc
Technology Evangelist
CData Sync を使って、Amazon Athena のデータ を Teradata にカスタマイズ可能な自動レプリケーションを実現する方法を解説します。

常時稼働のアプリケーションには、自動フェイルオーバー機能とリアルタイムのデータアクセスが欠かせません。CData Sync を使えば、Teradata インスタンスにAmazon Athena のデータをリアルタイムで統合できます。すべてのデータを1カ所に集約し、アーカイブ、レポーティング、分析、機械学習、AI などさまざまな用途に活用できます。

Amazon Athena データ連携について

CData は、Amazon Athena のライブデータにアクセスし、統合するための最も簡単な方法を提供します。お客様は CData の接続機能を以下の目的で使用しています：

  • IAM 認証情報、アクセスキー、インスタンスプロファイルなど、さまざまな方法で安全に認証できます。多様なセキュリティニーズに対応し、認証プロセスを簡素化します。
  • 詳細なエラーメッセージにより、セットアップを効率化し、問題を迅速に解決できます。
  • サーバーサイドでのクエリ実行により、パフォーマンスを向上させ、クライアントリソースへの負荷を最小限に抑えます。

ユーザーは、Tableau、Power BI、Excel などの分析ツールと Athena を統合し、お気に入りのツールから詳細な分析を行うことができます。

CData を使用した Amazon Athena のユニークなユースケースについては、ブログ記事をご覧ください：https://jp.cdata.com/blog/amazon-athena-use-cases


はじめに


Teradata を同期先として設定する

CData Sync を使って、Amazon Athena のデータ を Teradata にレプリケーションできます。同期先を追加するには、接続タブに移動します。

  1. 接続の追加をクリックします。
  2. 同期先タブを選択し、Teradata コネクタを探します。
  3. 該当行の末尾にある接続の設定アイコンをクリックして、新しい接続ページを開きます。接続の設定アイコンが表示されていない場合は、コネクタのダウンロードアイコンをクリックして Teradata コネクタをインストールします。新しいコネクタのインストールについて詳しくは、ヘルプドキュメントの「接続」セクションをご覧ください。
  4. Teradata に接続するには、以下の接続プロパティを設定します：
    • Connection Name：任意の接続名を入力します。
    • Data Source：Teradata サーバー名、データベースコンピュータ（DBC）ユーザー名、または Teradata Director Program Id（TDPID）を入力します。
    • User：Teradata アカウントで認証するためのユーザー名を入力します。
    • Password：Teradata アカウントで認証するためのパスワードを入力します。
    • Auth Scheme：認証スキームを選択します。Sync で利用可能な認証スキームは TD2 と LDAP です。TD2 がデフォルトのスキームです。
    • Database：Teradata データベースの名前を入力します。

      Note：データベースを指定しない場合、CData Sync はデフォルトのデータベースに接続します。

    • Port：Teradata サーバーのポート番号を入力します。デフォルトのポート値は 1025 です。
  5. 接続が確立されたら、作成およびテストをクリックして接続を作成、テスト、保存します。

これで Teradata に接続され、データソースとしても同期先としても使用できるようになりました。

NOTE：ラベル機能を使って、データソースや同期先にラベルを追加できます。

この記事では、Amazon Athena のデータ を Teradata にロードし、同期先として活用する方法をご紹介します。

Amazon Athena への接続を設定する

Amazon Athena への接続は、接続タブから設定できます。Amazon Athena アカウントへの接続を追加するには、接続タブに移動します。

  1. 接続の追加をクリックします。
  2. データソース（Amazon Athena）を選択します。
  3. 接続プロパティを設定します。

    Amazon Athena 接続プロパティの取得・設定方法

    それでは、早速Athena に接続していきましょう。

    データに接続するには、以下の接続パラメータを指定します。

    • DataSource：接続するAmazon Athena データソース。
    • Database：接続するAmazon Athena データベース。
    • AWSRegion：Amazon Athena データがホストされているリージョン。
    • S3StagingDirectory：クエリの結果を保存するS3 フォルダ。

    Database またはDataSource が設定されていない場合、CData 製品はAmazon Athena の利用可能なデータソースからすべてのデータベースのリスト化を試みます。そのため、両方のプロパティを設定することでCData 製品のパフォーマンスが向上します。

    Amazon Athena の認証設定

    CData 製品は幅広い認証オプションに対応しています。詳しくはヘルプドキュメントの「はじめに」を参照してみてください。

    AWS キーを取得

    IAM ユーザーの認証情報を取得するには、以下のステップお試しください。

    1. IAM コンソールにサインインします。
    2. ナビゲーションペインでユーザーを選択します。
    3. ユーザーのアクセスキーを作成または管理するには、ユーザーを選択してからセキュリティ認証情報タブに移動します。

    AWS ルートアカウントの資格情報を取得するには、以下のステップをお試しください。

    1. ルートアカウントの認証情報を使用してAWS 管理コンソールにサインインします。
    2. アカウント名または番号を選択します。
    3. 表示されたメニューでMy Security Credentials を選択します。
    4. ルートアカウントのアクセスキーを管理または作成するには、Continue to Security Credentials をクリックし、［Access Keys］セクションを展開します。

    その他の認証オプションについては、ヘルプドキュメントの「Amazon Athena への認証」を参照してください。

  4. Amazon Athena に接続をクリックして、接続が正しく設定されていることを確認します。
  5. 作成およびテストをクリックして変更を保存します。

レプリケーションクエリの設定

CData Sync では、ポイント＆クリック操作と SQL クエリの両方でレプリケーションを制御できます。レプリケーションを設定するには、ジョブタブに移動し、ジョブを追加をクリックします。レプリケーションのデータソースと同期先を選択します。

テーブル全体をレプリケーションする

テーブル全体をレプリケーションするには、ジョブのタスクタブでタスクを追加をクリックし、Teradata にレプリケーションしたい Amazon Athena テーブルをリストから選択して、再度タスクを追加をクリックします。

レプリケーションのカスタマイズ

タスクのカラムタブとクエリタブを使って、レプリケーションをカスタマイズできます。カラムタブでは、レプリケーションするカラムの指定、同期先でのカラム名の変更、レプリケーション前のデータ操作などが可能です。クエリタブでは、SQL クエリを使ってフィルタ、グループ化、ソートを追加できます。

レプリケーションのスケジュール

ジョブの概要タブを選択し、スケジュールの下にある設定をクリックします。10分ごとから月1回まで、指定した間隔でジョブを自動実行するようにスケジュールできます。

レプリケーションジョブを設定したら、変更を保存をクリックします。Amazon Athena のデータ から Teradata へのレプリケーションを管理するジョブをいくつでも設定できます。

レプリケーションジョブの実行

ジョブに必要なすべての設定が完了したら、レプリケーションしたい Amazon Athena テーブルを選択し、実行をクリックします。レプリケーションが正常に完了すると、ジョブの実行時間とレプリケーションされた行数を示す通知が表示されます。

無料トライアル & 詳細情報

Amazon Athena のデータ を Teradata にレプリケーションする方法をご覧いただきました。CData Sync ページで詳細をご確認いただき、30日間の無料トライアルをダウンロードして、エンタープライズデータの統合を始めましょう。

ご不明な点がございましたら、サポートチームがいつでもお手伝いいたします。

はじめる準備はできましたか？

詳細はこちら、または無料トライアルにお申し込みください：

CData Sync お問い合わせ

この記事の内容

関連記事