CData Sync を使用して複数のローカルファイルからデータをレプリケート



CData Sync では、ディレクトリまたはフォルダを指定し、同様のフォーマットのすべてのファイルを取得して、 単一の同期先テーブルにレプリケートできます。初回のレプリケーション後、CData Sync は ディレクトリ内の各ファイルの最終更新日を確認し、新しいファイルのみを取り込むため、 重複データのレプリケーションを防ぎます。

多くの組織では、定期的なデータ(レシート、請求書など)に関連するファイルを定期的に生成しています。 この記事では、CSV ファイルが含まれるローカルフォルダがマシン上にあることを想定し、 それらのファイルから関連データを Snowflake データウェアハウスにレプリケートする方法を説明します。

それでは、CData Sync インスタンスにログインして、CData Sync から CSV ファイルをソースコネクタとしてセットアップしていきましょう。

複数ファイルからデータを読み取るための CSV ソースの設定

CSV ファイルからデータをレプリケートするには、まず CData Sync で CSV ソース接続を設定します。

  1. CData Sync にログインし、Connections タブに移動します。+ Add Connection をクリックし、Sources を選択して、 CSV を検索して選択します。
  2. Connection Type(Local)、Auth Scheme、URI などの接続プロパティを入力します。 URI には、CSV ファイルが保存されているマシン上のローカルディレクトリを設定します。Aggregate Files を True に設定し、Save and Test をクリックします。

Snowflake を同期先として設定

CSV 接続のテストと保存が完了したら、同期先(今回は Snowflake)に接続します。

  1. Connections タブをクリックし、Destinations を選択して、Snowflake を選びます。
  2. Warehouse、URL、Auth Scheme、User、Password、Database、Schema などの Snowflake 接続プロパティを入力し、Save and Test をクリックします。

複数ファイルを Snowflake にレプリケート

これで、ローカルフォルダから Snowflake データウェアハウスに複数ファイルをレプリケートするジョブを作成する準備が整いました。

  1. Sync インターフェースで Jobs をクリックし、+ Add Job を選択します。
  2. ジョブに名前を付け、先ほど作成した CSV ソースと Snowflake 同期先の接続を選択します。 Add Job をクリックします。
  3. ジョブが作成されたら、ジョブを選択して Task タブをクリックします。+ Add Tasks をクリックし、 AggregatedFiles を選択します。Add Tasks (1) をクリックします。
  4. データを既存のテーブルにレプリケートするか、新しいテーブルを作成できます(同期先テーブルを変更するには、 タスクの Overview タブで Destination Information の編集ボタンをクリックします)。
  5. タスクの Column タブに移動して、カラムマッピングが正しいことを確認します。
  6. Job 画面で Run をクリックします。
  7. 次に、Snowflake インスタンスを確認して、CSV ファイルのデータが正しくレプリケートされたことを検証します。

無料トライアルと詳細情報

CData Sync を使用してローカルマシンから Snowflake にデータをレプリケートする方法をご覧いただきました。 CData Sync ページで Sync の詳細情報をご確認いただき、 無料トライアルをダウンロードしてください。今すぐ企業データをデータウェアハウスに統合しましょう! ご質問がございましたら、サポートチームまでお気軽にお問い合わせください。

始める準備はできましたか?

CData Sync の無料トライアルをダウンロード:

今すぐダウンロード