CData Sync に、リアルタイムソースの拡充、履歴監査機能、dbt Core を活用した高度なデータ変換を追加する新機能が登場しました。
CData チームは、お客様のデータ連携ニーズを支える柔軟で使いやすく堅牢なデータパイプラインテクノロジーの提供に取り組み続けています。世界中の企業が Sync を活用して 250 以上のソースから目的のデスティネーションへデータを移動する中、今回の新機能により、要求の厳しいユースケースにおいてもデータエコシステム全体でより効果的に連携できるようになります。
dbt Core によるデータ変換
dbt Core は、Sync が備えるネイティブのデータ変換機能に加えて、新たな変換手段を提供します。dbt をご存じない方のために補足すると、dbt Labs が提供する人気のデータ変換ツールです。
大規模な組織では、データの加工処理が限られたデータエンジニアの領域になりがちです。dbt はこの課題に対応するツールで、アナリストが SQL でビジネスロジックを記述し、変換のテスト、コードの実行、ドキュメントの作成までを一貫して行えるワークフロー環境を提供します。dbt で構築したデータ変換は、CData Sync のレプリケーションジョブの一部としてシームレスに組み込むことができます。
短いデモをご覧ください。
既存の Sync レプリケーションジョブに dbt を追加
Oracle と MySQL の変更データキャプチャ
今回の CData Sync リリースでは、SQL Server と PostgreSQL に加えて、Oracle と MySQL のリアルタイム変更データキャプチャ（CDC）もサポートされました。CDC を使うと、ソースデータの更新を発生と同時に自動追跡し、リアルタイムでデータをレプリケートできます。検知された変更はデスティネーションへの更新をトリガーし、他のアクティビティを起動することも可能です。Sync と CDC を組み合わせることで、データベースの変更をリアルタイムにデータウェアハウスへ反映し、常に最新の状態に保つことができます。
短いデモをご覧ください。
SQL Server から Snowflake への CDC レプリケーション
データ監査のためのヒストリーモード
最後にご紹介するのは、CData Sync のレプリケーションジョブに新たに追加されたヒストリーモードです。通常のレプリケーションジョブとは異なり、ヒストリーモードではソースで発生したすべての変更がタイムスタンプ付きのエントリとしてデスティネーションに追記されます。既存のアプリケーションを変更することなく、データに対する作成・更新・削除の履歴を監査できる便利な機能です。
CData Sync は、オンプレミスのほか AWS や Azure 経由のクラウドでも利用可能です。必要なすべてのデータのレプリケーションと変換をシンプルに実現します。これらの新機能を試してみませんか？今すぐ無償トライアルにサインアップしてください。
※本記事はCData US ブログ Introducing New dbt Core Integration and Real-Time CDC Sources for CData Sync の翻訳です。
