データパイプラインがデータを届ける先は、もはや人が目を通すレポートやダッシュボードに限りません。人の確認を経ずに、受け取ったデータをもとに処理を進めるシステムも増えています。それに伴い、パイプラインをどう制御するかが、これまで以上に重要になっています。

CData Sync 26.4 では、そうした制御機能として、シークレットを管理する Vault、需要に合わせたスケジュール、AI アシスタント向けの読み取り専用アクセスが追加されました。あわせて、SQL Server、Db2 for i、SAP Gateway の変更データキャプチャ（CDC）サポートを拡張し、初期ロード向けのダイレクトインサート方式も追加しています。これらの変更のいくつかは、医療、保険、運輸、自動車業界のお客様からのご要望がきっかけとなったものです。本記事では、Sync 26.3 以降にリリースされた内容を、週次リリースも含めてご紹介します。

運用に合わせた制御機能

Vault のサポート

データパイプラインは、組織で最も機密性の高いシステムにアクセスするための認証情報を保持しています。セキュリティレビューで焦点となるのは、多くの場合、その認証情報がいくつの場所に保存されているか、そして誰が読み取れるかという点です。

CData Sync 26.4 では、「ジョブはシークレットを名前で参照する」という 1 つのルールに基づく Vault サポートが追加されました。対象は、イベントスクリプトと接続プロパティです。シークレットは暗号化されたローカル Vault に保存するか、ホストの環境変数から取得できます。ローカル Vault はすべてのエディションに含まれています。

需要に合わせたスケジュール

Db2 for i のデータを Snowflake にレプリケートしているある運輸会社では、コンピューティングコストを管理するため、平日は CDC の実行頻度を上げ、週末は下げたいというニーズがありました。また、Dynamics 365 のデータを SQL Server にレプリケートしている大手医療サービス事業者では、Dynamics 365 が削除を報告しないため、定期的に完全な再同期を実行しています。

Sync 26.4 では、1 つのジョブに複数のスケジュールルールと定期的な再同期を設定できるようになりました。実行頻度を需要に合わせて変えられるうえ、再同期もジョブ自体のスケジュールとして実行されます。

AI アシスタント向けの読み取り専用アクセス

AI アシスタントの安全性は、付与するアクセス権限によって決まります。CData Sync 26.4 には Model Context Protocol（MCP）サーバーが搭載されており、AI アシスタントからワークスペース、接続、ジョブ、変換、パイプラインの検索、それらのログの取得、ヘルスチェックの実行が可能です。

今回の初期バージョンは読み取り専用のため、参照はできますが、変更はできません。また、サインイン中のユーザーの ID で動作するため、AI アシスタントに表示されるのは、そのユーザーの権限で許可された範囲に限られます。接続情報やスクリプトに含まれるシークレットの値はマスクされます。

SQL Server、Db2 for i、SAP Gateway の CDC

Parquet のような追記専用の同期先ではマージができないため、データが書き込まれる前にトランザクション内の変更順序を確定させておく必要があります。リロード用のプロシージャが 1 つのトランザクション内で行を削除して再挿入した場合、SQL Server は両方の変更を同じログシーケンス番号（LSN）で記録します。

CData Sync 26.4 では、この順序をデータソースから読み取る段階で確定させます。Sync は単一トランザクション内の同じキーに対する変更を 1 行にまとめるため、削除の後に挿入が行われた場合は、同期先には更新として届きます。

Change log:   DELETE 42, INSERT 42, same LSN
Sync output:  one UPDATE for key 42, with the new values

同じ考え方は、CDC に関するほかの改善にも共通しています。Sync は SQL Server が追跡しているカラムを読み取り、レプリケーションスキーマをそれに合わせて調整します。また、行が返されなかった実行も含め、実行のたびにチェックポイントを進めます。さらに、Db2 for i を 1 メンバーずつキャプチャできるようになったほか、SAP Gateway を CDC データソースとして追加しました。

初期ロードのダイレクトインサート

空のテーブルへの初期ロードは、すべてが挿入処理です。CData Sync 26.4 では、対象となるテーブルについて、新規・空・切り捨て済みの同期先テーブルへ並列読み取りを行う際に、マージ処理を省略するダイレクトインサート方式が追加されました。MySQL と Apache Doris の同期先にはバルクロード方式も追加されています。これは、大量のデータをロードする際に MySQL のドキュメントで推奨されている方法です。

アップグレード前の確認事項

• SQL Server CDC では、1 トランザクションにつきキーごとに 1 行が出力されます。トランザクション内の途中の変更は送信されず、削除の後に挿入が行われた場合は更新として届きます。

• Db2 for i で物理ファイルを選択した場合、キャプチャされるのはデフォルトのメンバーのみです。別のメンバーをキャプチャするには、そのメンバーの SQL エイリアスを選択してください。

CData Sync 26.4 のご案内

CData Sync 26.4 は現在提供中です。API エンドポイント、オプション、設定を含む変更点の全一覧は、リリースノートをご覧ください。

すでにご利用中の方：アップグレードをご希望の場合は、テクニカルサポートまでお問い合わせください。

これから導入を検討される方：ぜひ無償トライアルをお試しください。

※本記事は CData US ブログ What's New in CData Sync 26.4: Vaults, Multiple Schedules, and Read-Only AI Access の翻訳です。