CData SSIS Components を使用して SQL Server から Snowflake レコードを新規挿入または既存を更新
SQL Server データベースは、エンタープライズレコードの保存に広く使用されています。このデータを他の場所に移動する必要がある場合がよくあります。CData SSIS Components for Snowflake を使用すると、SQL Server から Snowflake にデータを簡単に転送できます。
この記事では、CData SSIS Components for Snowflake を SQL Server Integration Services ワークフロー内で使用して、SQL Server から Snowflake にデータをエクスポートする方法を説明します。ルックアップコンポーネントを活用して、既存のレコードを検索・更新するか、新しいレコードを挿入します。
Snowflake データ連携について
CData は、Snowflake のライブデータへのアクセスと統合を簡素化します。お客様は CData の接続機能を以下の目的で活用しています:
- Snowflake データを迅速かつ効率的に読み書きできます。
- 指定された Warehouse、Database、Schema のメタデータを動的に取得できます。
- OAuth、OKTA、Azure AD、Azure マネージド サービス ID、PingFederate、秘密鍵など、さまざまな方法で認証できます。
多くの CData ユーザーは、CData ソリューションを使用して、お気に入りのツールやアプリケーションから Snowflake にアクセスし、さまざまなシステムからデータを Snowflake にレプリケートして、包括的なウェアハウジングと分析を行っています。
CData ソリューションとの Snowflake 統合についての詳細は、ブログをご覧ください:https://jp.cdata.com/blog/snowflake-integrations
はじめに
コンポーネントの追加
まず、新しい OLE DB ソース、CData Snowflake ルックアップ、および 2 つの CData Snowflake デスティネーション(ルックアップで一致した場合と一致しなかった場合をそれぞれ処理)を新しい Data Flow Task に追加します。
OLE DB ソースの設定
以下の手順に従って、SQL Server インスタンスへの接続に必要なプロパティを指定します。
- OLE DB Source を開き、新しい接続を追加します。ここでサーバーとデータベースの情報を入力します。
- Data access mode メニューで「Table or view」を選択し、Snowflake にエクスポートするテーブルまたはビューを選択します。
- OLE DB Source ウィザードを閉じ、CData Snowflake Destination に接続します。
Snowflake 用の新しい Connection Manager を作成
以下の手順に従って、Connection Manager に接続プロパティを保存します。
- 新しい Connection Manager を作成します:Connection Manager ウィンドウで右クリックし、New Connection をクリックします。Add SSIS Connection Manager ダイアログが表示されます。
- Connection Manager type メニューで CData Snowflake Connection Manager を選択します。
- 接続プロパティを設定します。通常、Snowflake 接続には以下が必要です:
- User
- Password
- AccessToken
Snowflake ルックアップの設定
ルックアップコンポーネントの Transform Editor で、SQL Server ソーステーブルから Snowflake ルックアップテーブルへのマッピングを定義します。
- Snowflake ルックアップをダブルクリックして、ルックアップコンポーネントエディタを開きます。
- Connection タブで、先ほど作成した Connection Manager を選択します。
- Connection タブで、Connection Manager を指定(または新規作成)し、データがアップサートされるテーブルを指定します。この例では、Account レコードを転送します。

- Columns タブで、入力カラムの主キーからルックアップカラムの主キーへのマッピングを設定します。

Snowflake デスティネーションの設定
ルックアップコンポーネントを使用すると、データソースのどのエントリが Snowflake に既に存在し、どのエントリが新規であるかがわかります。一致が見つかった場合と見つからなかった場合を処理する 2 つの Snowflake コンポーネントを設定します。
ルックアップ一致デスティネーション
ルックアップコンポーネントが一致を返した場合、Snowflake の既存レコードを更新します。
- Lookup Match Output を Snowflake デスティネーションコンポーネントにマップします。
- Snowflake デスティネーションをダブルクリックして、デスティネーションコンポーネントエディタを開きます。
- Connection Manager タブで、先ほど作成した Connection Manager を選択します。
- 更新するテーブルを指定し、Action を「Update」に設定します。

- Column Mappings タブで、入力カラムからデスティネーションカラムへのマッピングを設定します(SQL Server の主キーカラムを Snowflake の主キーカラムにマップすることを忘れずに)。

ルックアップ不一致デスティネーション
ルックアップコンポーネントが一致を返さなかった場合、Snowflake に新しいレコードを追加します。
- Lookup No Match Output を Snowflake デスティネーションコンポーネントにマップします。
- Snowflake デスティネーションをダブルクリックして、デスティネーションコンポーネントエディタを開きます。
- Connection Manager タブで、先ほど作成した Connection Manager を選択します。
- 新しいレコードを挿入するテーブルを指定し、Action を「Insert」に設定します。

- Column Mappings タブで、入力カラムからデスティネーションカラムへのマッピングを設定します。

プロジェクトの実行
これでプロジェクトを実行できます。 SSIS Task の実行が完了すると、SQL テーブルのデータが選択したテーブルにエクスポートされます。