CData SSIS Components を使用して SQL Server から Elasticsearch レコードを新規挿入または既存を更新

SQL Server データベースは、エンタープライズレコードの保存に広く使用されています。このデータを他の場所に移動する必要がある場合がよくあります。CData SSIS Components for Elasticsearch を使用すると、SQL Server から Elasticsearch にデータを簡単に転送できます。

この記事では、CData SSIS Components for Elasticsearch を SQL Server Integration Services ワークフロー内で使用して、SQL Server から Elasticsearch にデータをエクスポートする方法を説明します。ルックアップコンポーネントを活用して、既存のレコードを検索・更新するか、新しいレコードを挿入します。

はじめに

---

コンポーネントの追加

まず、新しい OLE DB ソース、CData Elasticsearch ルックアップ、および 2 つの CData Elasticsearch デスティネーション（ルックアップで一致した場合と一致しなかった場合をそれぞれ処理）を新しい Data Flow Task に追加します。

OLE DB ソースの設定

以下の手順に従って、SQL Server インスタンスへの接続に必要なプロパティを指定します。

1. OLE DB Source を開き、新しい接続を追加します。ここでサーバーとデータベースの情報を入力します。
2. Data access mode メニューで「Table or view」を選択し、Elasticsearch にエクスポートするテーブルまたはビューを選択します。
3. OLE DB Source ウィザードを閉じ、CData Elasticsearch Destination に接続します。

Elasticsearch 用の新しい Connection Manager を作成

以下の手順に従って、Connection Manager に接続プロパティを保存します。

1. 新しい Connection Manager を作成します：Connection Manager ウィンドウで右クリックし、New Connection をクリックします。Add SSIS Connection Manager ダイアログが表示されます。
2. Connection Manager type メニューで CData Elasticsearch Connection Manager を選択します。
3. 接続プロパティを設定します。通常、Elasticsearch 接続には以下が必要です：
   • User
   • Password
   • AccessToken
   

Elasticsearch ルックアップの設定

ルックアップコンポーネントの Transform Editor で、SQL Server ソーステーブルから Elasticsearch ルックアップテーブルへのマッピングを定義します。

1. Elasticsearch ルックアップをダブルクリックして、ルックアップコンポーネントエディタを開きます。
2. Connection タブで、先ほど作成した Connection Manager を選択します。
3. Connection タブで、Connection Manager を指定（または新規作成）し、データがアップサートされるテーブルを指定します。この例では、Account レコードを転送します。
4. Columns タブで、入力カラムの主キーからルックアップカラムの主キーへのマッピングを設定します。

Elasticsearch デスティネーションの設定

ルックアップコンポーネントを使用すると、データソースのどのエントリが Elasticsearch に既に存在し、どのエントリが新規であるかがわかります。一致が見つかった場合と見つからなかった場合を処理する 2 つの Elasticsearch コンポーネントを設定します。

ルックアップ一致デスティネーション

ルックアップコンポーネントが一致を返した場合、Elasticsearch の既存レコードを更新します。

1. Lookup Match Output を Elasticsearch デスティネーションコンポーネントにマップします。
2. Elasticsearch デスティネーションをダブルクリックして、デスティネーションコンポーネントエディタを開きます。
3. Connection Manager タブで、先ほど作成した Connection Manager を選択します。
4. 更新するテーブルを指定し、Action を「Update」に設定します。
5. Column Mappings タブで、入力カラムからデスティネーションカラムへのマッピングを設定します（SQL Server の主キーカラムを Elasticsearch の主キーカラムにマップすることを忘れずに）。

ルックアップ不一致デスティネーション

ルックアップコンポーネントが一致を返さなかった場合、Elasticsearch に新しいレコードを追加します。

1. Lookup No Match Output を Elasticsearch デスティネーションコンポーネントにマップします。
2. Elasticsearch デスティネーションをダブルクリックして、デスティネーションコンポーネントエディタを開きます。
3. Connection Manager タブで、先ほど作成した Connection Manager を選択します。
4. 新しいレコードを挿入するテーブルを指定し、Action を「Insert」に設定します。
5. Column Mappings タブで、入力カラムからデスティネーションカラムへのマッピングを設定します。

プロジェクトの実行

これでプロジェクトを実行できます。 SSIS Task の実行が完了すると、SQL テーブルのデータが選択したテーブルにエクスポートされます。