Spark:
Apache Spark SQL は、分散コンピューティング環境で大規模なデータセットに対して SQL クエリを実行することを可能にする強力なデータ処理エンジンです。Spark のコア機能とシームレスに統合され、ユーザーは複雑なデータ変換、集計、分析を容易に実行することができます。Spark SQL は、さまざまなデータ形式とソースもサポートしています。
Azure Synapse:
Azure Synapse は、ビッグデータとデータウェアハウジング機能を単一のプラットフォームに統合したクラウドベースの分析サービスです。ユーザーは BI と機械学習アプリケーションのためにデータの取り込み、準備、管理、提供を行うことができます。統合されたセキュリティとスケーラビリティ機能により、Azure Synapse は企業がデータから価値ある洞察を得ることを可能にします。
CData Sync で Spark と Azure Synapse を統合
CData Sync を使えば、Apache Spark SQL データをデータベース・データレイク・データウェアハウスに継続的にレプリケーションし、分析・レポート・AI・機械学習にすぐ活用できます。
- Azure Synapse をはじめ、主要なデータベース・データウェアハウスにノーコードでデータを同期できます。
- Spark データを Azure Synapse に自動レプリケート。手作業のエクスポートをなくし、BI・分析にすぐ活用できます。
- Azure Synapse にクエリをオフロードすることで、Spark の API コール制限やパフォーマンス低下を回避できます。
- Spark と BI ツールを連携し、データにもとづく迅速な意思決定を支援します。
- Apache Spark SQL データを Azure Synapse に自動バックアップ。万一のデータ消失に備えた仕組みを構築できます。
Spark を Azure Synapse と統合
Spark データ統合機能
シンプルなノーコード Spark データ統合
複雑なコーディングは不要。ドラッグ&ドロップの直感的な操作で、Spark データを任意の宛先に接続できます。
数分で構築できる手間のかからないデータパイプライン
増分更新と自動スキーマ検出で、一度設定すれば手間なし。Azure Synapse のデータを常に最新の状態に保てます。
行ごとの課金はありません
行数による従量課金はありません。Spark と Azure Synapse 間のレプリケーション量を気にせず、必要なデータをすべて連携できます。
その他の Spark データ統合ツール
Spark からサポートされている任意のデータストアにデータを統合・レプリケートするデータパイプラインを簡単に作成できます：
