CData SSIS Components を使用して SQL Server から BigQuery レコードを新規挿入または既存を更新

SQL Server データベースは、エンタープライズレコードの保存に広く使用されています。このデータを他の場所に移動する必要がある場合がよくあります。CData SSIS Components for BigQuery を使用すると、SQL Server から BigQuery にデータを簡単に転送できます。

この記事では、CData SSIS Components for BigQuery を SQL Server Integration Services ワークフロー内で使用して、SQL Server から BigQuery にデータをエクスポートする方法を説明します。ルックアップコンポーネントを活用して、既存のレコードを検索・更新するか、新しいレコードを挿入します。

はじめに

---

コンポーネントの追加

まず、新しい OLE DB ソース、CData BigQuery ルックアップ、および 2 つの CData BigQuery デスティネーション（ルックアップで一致した場合と一致しなかった場合をそれぞれ処理）を新しい Data Flow Task に追加します。

OLE DB ソースの設定

以下の手順に従って、SQL Server インスタンスへの接続に必要なプロパティを指定します。

1. OLE DB Source を開き、新しい接続を追加します。ここでサーバーとデータベースの情報を入力します。
2. Data access mode メニューで「Table or view」を選択し、BigQuery にエクスポートするテーブルまたはビューを選択します。
3. OLE DB Source ウィザードを閉じ、CData BigQuery Destination に接続します。

BigQuery 用の新しい Connection Manager を作成

以下の手順に従って、Connection Manager に接続プロパティを保存します。

1. 新しい Connection Manager を作成します：Connection Manager ウィンドウで右クリックし、New Connection をクリックします。Add SSIS Connection Manager ダイアログが表示されます。
2. Connection Manager type メニューで CData BigQuery Connection Manager を選択します。
3. 接続プロパティを設定します。通常、BigQuery 接続には以下が必要です：
   • User
   • Password
   • AccessToken
   

BigQuery ルックアップの設定

ルックアップコンポーネントの Transform Editor で、SQL Server ソーステーブルから BigQuery ルックアップテーブルへのマッピングを定義します。

1. BigQuery ルックアップをダブルクリックして、ルックアップコンポーネントエディタを開きます。
2. Connection タブで、先ほど作成した Connection Manager を選択します。
3. Connection タブで、Connection Manager を指定（または新規作成）し、データがアップサートされるテーブルを指定します。この例では、Account レコードを転送します。
4. Columns タブで、入力カラムの主キーからルックアップカラムの主キーへのマッピングを設定します。

BigQuery デスティネーションの設定

ルックアップコンポーネントを使用すると、データソースのどのエントリが BigQuery に既に存在し、どのエントリが新規であるかがわかります。一致が見つかった場合と見つからなかった場合を処理する 2 つの BigQuery コンポーネントを設定します。

ルックアップ一致デスティネーション

ルックアップコンポーネントが一致を返した場合、BigQuery の既存レコードを更新します。

1. Lookup Match Output を BigQuery デスティネーションコンポーネントにマップします。
2. BigQuery デスティネーションをダブルクリックして、デスティネーションコンポーネントエディタを開きます。
3. Connection Manager タブで、先ほど作成した Connection Manager を選択します。
4. 更新するテーブルを指定し、Action を「Update」に設定します。
5. Column Mappings タブで、入力カラムからデスティネーションカラムへのマッピングを設定します（SQL Server の主キーカラムを BigQuery の主キーカラムにマップすることを忘れずに）。

ルックアップ不一致デスティネーション

ルックアップコンポーネントが一致を返さなかった場合、BigQuery に新しいレコードを追加します。

1. Lookup No Match Output を BigQuery デスティネーションコンポーネントにマップします。
2. BigQuery デスティネーションをダブルクリックして、デスティネーションコンポーネントエディタを開きます。
3. Connection Manager タブで、先ほど作成した Connection Manager を選択します。
4. 新しいレコードを挿入するテーブルを指定し、Action を「Insert」に設定します。
5. Column Mappings タブで、入力カラムからデスティネーションカラムへのマッピングを設定します。

プロジェクトの実行

これでプロジェクトを実行できます。 SSIS Task の実行が完了すると、SQL テーブルのデータが選択したテーブルにエクスポートされます。