データウェアハウジング

データと分析は、競争力を維持するために企業にとって不可欠なものになっています。ビジネスユーザーは、レポート、ダッシュボード、分析ツールに依存して、データから洞察を抽出し、ビジネスパフォーマンスを監視し、意思決定をサポートしています。データウェアハウスは、データを効率的に保存してデータの入出力 (I/O) を最小化し、数百から数千のユーザーに同時にクエリ結果を迅速に配信することで、これらのレポート、ダッシュボード、分析ツールを支えています。

エンタープライズデータウェアハウスにより、組織は大規模組織が要求するセキュリティ、ガバナンス、可用性を備えた数千のユーザー間でペタバイト規模のデータを共有できます。

データウェアハウジングとは

データウェアハウジングとは、組織のオンデマンドデータアクセスでデータ駆動型イニシアティブをサポートするために、分散したデータソースから組織の膨大なデータコレクションをエンタープライズデータウェアハウス内に集中化するプロセスです。

データは、トランザクションシステム、リレーショナルデータベース、およびその他のソースから、通常は定期的なスケジュールでデータウェアハウスに流入します。ビジネスアナリスト、データエンジニア、データサイエンティスト、意思決定者は、ビジネスインテリジェンス (BI) ツール、SQL クライアント、およびその他の分析アプリケーションを通じてデータにアクセスします。

データウェアハウスとは

データウェアハウスは、企業のさまざまな運用システムによって収集されたすべてのデータのための統合リポジトリ (個別のデータベースに統一標準を使用) です。

データウェアハウスは通常、異種ソースからのビジネスデータを接続および分析するために使用されます。データウェアハウスは、データ分析とレポート作成のために構築された BI システムのコアです。これは、データの戦略的使用を支援するテクノロジーとコンポーネントの融合です。

データウェアハウジングがサポートするビジネスイニシアティブ

すべての主要なデータを中央データウェアハウスに保存し、データを利用可能にすることで、組織は重要な継続的なプロセスやデジタルトランスフォーメーションイニシアティブの多くをサポートできます。これらのうちのほんの一部を以下に示します:

• 360 度 BI & 分析 - 大量データ分析
• 履歴データマイニング
• データガバナンスと規制コンプライアンス
• データバックアップ、保存、アーカイブ
• カスタムエンタープライズアプリ開発
• QA & テスト
• AI & ML イニシアティブ
• デジタルトランスフォーメーションとより広範なイノベーション

データウェアハウジングと統合データアクセスのメリット

統合された データアクセス - ひいてはデータウェアハウジング - のメリットは莫大であり、組織が数百のエンタープライズアプリケーション全体でのデータ拡散の増加の波に対処しようとするにつれて、その価値はさらに増大するでしょう。

データウェアハウジングの根本的な目標は、組織の主要な意思決定者、アナリスト、開発者、データ消費アプリケーションに、切実に必要とされる統合されたデータアクセスを大規模に提供することです。この目標を達成するために、データウェアハウジングからライブデータ統合、データ仮想化などまで、多くのパスを取ることができます。このガイドでは、データウェアハウジングに焦点を当てて、統合されたデータアクセスの多くのメリットのほんの一部について説明しますが、実際には、これらの利点は統合されたデータ可用性を達成するほとんどの方法に適用されます。

データ全体でのより高い一貫性

適切にデプロイされたデータウェアハウスにより、多くの異なるソースからのデータを統一された形式に変換することが可能になります。これにより、組織全体でプロセスを標準化しながら、アナリストに必要なすべてのデータを提供できます。

360 度分析

データが 1 か所に統一され (同じ形式で)、アナリストはより包括的な 360 度レビューを実行できます。組織は、企業全体で発生しているすべてのトレンドをより深く、より広く理解できます。

より良い組織の連携

より良い 360 度の洞察と、すべてレポート用の同じリポジトリを使用しているさまざまなチーム (営業、マーケティング、運用、サポートなど) により、各部門は他の部門とより良く連携できます。すべての主要な利害関係者は、組織全体で何が起こっているかを確認し、同じページにとどまることができます。

スケーラブルなパフォーマンス

データウェアハウスは、個々のレコードの単純な保守ではなく、分析とトランザクション取得のために特別に構築されています。その結果、大量のデータを保存するためのよりスケーラブルなソリューションと、高度なデータ分析のためのより高速な処理の両方を提供し、さまざまな BI ツールからのクエリを処理してより効率的な分析を可能にします。

簡素化された API 管理

データウェアハウスを使用すると、すべてのアプリケーションやデータベースでデータアクセスのために個別の API を管理する必要はありません。代わりに、特定のデータソースからデータをコピーして、時間を節約してエラーを減らすためにデータウェアハウスにレプリケートするだけです。

API 制限なし

他のデータ接続方法と比較して、データウェアハウジングを使用することの 1 つのメリットは、コストがかかり複雑な API 制限を回避することです。データウェアハウスは、低速の API と一部の API プロバイダーが実施するクエリ制限を回避することで、データアクセスを拡大します。データをプルするために API に対して継続的にクエリを実行する代わりに、エンタープライズデータパイプラインソリューションを使用して、データウェアハウスへのより大規模なデータレプリケーションをスケジュールできます。

改善された意思決定プロセス

データウェアハウジングは、現在および履歴データの一貫したデータベースを維持することで、意思決定者により良い洞察を提供します。データを目的のある情報に変換することで、意思決定者はより機能的で正確で信頼性の高い分析を実行し、より有用なレポートを簡単に作成できます。

スピードとセルフサービスの実現

データウェアハウスは、さまざまなソースからのデータを標準化、保存、保管し、すべてのデータの統合と統合を支援します。重要なデータがすべてのユーザーに利用可能であるため、主要な側面について情報に基づいた意思決定を行うことができます。さらに、エグゼクティブは IT サポートをほとんど必要とせずに自分でデータをクエリでき、分析とレポート作成の総ターンアラウンドタイムを短縮しながら、より多くの時間とお金を節約できます。

より高いセキュリティ: 統合されたデータアクセス

データウェアハウスを統合データリポジトリとして使用することで、すべてのデータをまとめるだけでなく、統合されたデータアクセスと一貫した厳格な認証標準を通じてより安全にすることができます。データウェアハウスにより、ユーザーが 1 か所で複数のソースから重要なデータにアクセスできることも言及する価値があります。

データウェアハウジングの仕組み

通常、企業はデータを保存および分析するために、データベース、データレイク、データウェアハウスの組み合わせを使用します。データウェアハウスは、1 つ以上のデータソースから情報が到着する中央リポジトリとして機能します。データは、トランザクションシステムおよびその他のリレーショナルデータベースからデータウェアハウスに流入します。データは処理、変換、取り込まれるため、ユーザーはビジネスインテリジェンスツール、SQL クライアント、スプレッドシートを通じてデータウェアハウス内の処理されたデータにアクセスできます。

データウェアハウスは、さまざまなソースから来る情報を 1 つの包括的なデータベースにマージします。

データウェアハウスのタイプとその一般的なユースケース

エンタープライズデータウェアハウス (EDW)

エンタープライズデータウェアハウス (EDW) は、複数のソースとアプリケーションからビジネスの情報を集中化し、組織全体で分析と使用のために利用可能にするデータベース、またはデータベースのコレクションです。EDW は、オンプレミスサーバーまたはクラウドに収容できます。このタイプのデジタルウェアハウスに保存されたデータは、ビジネス、その従業員、顧客などについて知られていることの多くを表すため、ビジネスの最も価値のある資産の 1 つになる可能性があります。

オペレーショナルデータストア

オペレーショナルデータストア (ODS) は、オペレーショナルレポート用に複数のトランザクションシステムからの最新データのスナップショットを提供する中央データベースです。これにより、組織はさまざまなソースからのデータを元の形式で 1 つの同期先に結合して、ビジネスレポートに利用できるようになります。ODS では、データウェアハウスがリアルタイムで更新されます。したがって、従業員記録の保存などの日常的な活動に広く好まれています。

データマート

データマートは、ビジネス企業内の特定のチーム、セクション、または部門のニーズのために、全体的なデータウェアハウス内に保存されたデータのサブセットです。たとえば、中央アーカイブはビジネス組織全体のデータを保持しますが、データマートは特定のデータのサブセットを設定されたユーザーグループが利用できるようにするため、必要なデータを中央アーカイブで検索する貴重な時間を無駄にする必要はありません。データマートにより、個々の部門が重要なデータ洞察にすばやくアクセスすることがはるかに簡単になり、ビジネス組織内の部門が互いのデータを妨害することを防ぐのに役立ちます。

論理データウェアハウスとデータ仮想化

多くの場合、エンタープライズデータを実際に中央データウェアハウスにレプリケートまたはロードするよりも、データの仮想化バージョンを提供する方が効率的でリソース集約的ではありません。データウェアハウジングのこの実装では、ユーザーは、データが収容されている場所に関係なく、数十または数百のデータソースとデータベースに存在するデータに、すべて 1 つのデータベース内にあるかのようにアクセスできます。

論理データウェアハウスは、データが共通のインターフェースと標準化されたデータモデルを備えた共通のデータベース内に存在するように見せる仮想データレイヤーを提供します。多くの組織は、論理データウェアハウスを使用して、Hadoop や NoSQL データベースなどの非標準ソースからのデータで既存のデータウェアハウスシステムを拡張および拡大しています。これらの仮想化されたデータシステムは、さまざまなビジネスユーザーやアプリケーションに合わせて、拡張された情報をさまざまな形式で公開する驚異的な柔軟性を提供します。

論理データウェアハウジングとデータ仮想化の詳細なリソース:

• 組み込みデータ仮想化に関するウェビナー をご覧ください
• または、CData Connect AI をご覧ください

データアクセス構成

固定データウェアハウス

このタイプのデータウェアハウスでは、エンドユーザーにデータウェアハウス内のデータへの直接アクセスが与えられます。多くの組織にとって、アクセス頻度の低さ、ボリュームの問題、または企業の必要性がそのようなアプローチを指示しています。

マルチステージデータウェアハウジング

これは、データの変換と保存に複数のステージを使用することを指します。データは最初に さまざまなデータソースから抽出され、次にグループ化され、指定されたステージング エリアに配置されます。次に、データは中央データウェアハウスに適合するように変換されてから、 特定のチーム、部門、およびユーザーがアクセス、分析、構築する特定のオペレーショナルデータベースに 配置されます。この構成は、 エンドユーザーが長期保存と履歴分析のためのすべてのデータの中央集約リポジトリ と、 最新のレポートとライブアプリケーションのための情報の両方を必要とする 組織に適しています。

このようなウェアハウスには、クライアントとの単一の対話が可能な、高度に専門化された洗練された「ミドルウェア」が必要になります。これは、レポート生成の前にユーザーのために抽出されたレコードを表示する機能にも不可欠な場合があります。これらの状況下では、統合されたメタデータリポジトリが絶対に不可欠になります。

データパイプラインまたは ETL/ELT ツール は、このミドルウェアパイプラインとして機能し、プロセスのさまざまなステップを通じてデータのロード、レプリケーション、変換を簡単に処理して、組織全体のすべての人が、あらゆる方法で使用できるデータアクセスを提供できます。

最も人気のあるデータウェアハウジングプラットフォーム

データウェアハウスは、データ分析をサポートし、分析ツールとオペレーショナルデータストア間の導管として機能する重要なデータベースです。最も人気のあるデータウェアハウジングソリューションには、データ管理と統合のためのさまざまな有用な機能が含まれています。それらを使用して、さまざまな環境からデータを抽出/キュレートし、データを変換して重複を削除し、分析の一貫性を確保できます。

Google BigQuery

BigQuery は、組み込みの機械学習機能を備えた費用対効果の高いデータウェアハウジングツールです。Cloud ML および TensorFlow と統合して、強力な AI モデルを作成できます。また、リアルタイム分析のためにペタバイトのデータに対してクエリを実行することもできます。このスケーラブルでサーバーレスなクラウドデータウェアハウスは、コストを低く抑えたい企業に最適です。データ分析を通じて情報に基づいた意思決定を行う迅速な方法が必要な場合、BigQuery が対応します。

AWS Redshift

Redshift は、エンタープライズ向けのクラウドベースのデータウェアハウジングツールです。このプラットフォームは、ペタバイトのデータを非常に高速に処理できます。そのため、高速データ分析に適しています。また、自動同時実行スケーリングもサポートしています。自動化により、ワークロード需要に合わせてクエリ処理リソースが増減します。Amazon が提供するツールにより、フルタイムのデータベース管理者を持つ必要性が減少しますが、必要性が完全になくなるわけではありません。Amazon Redshift は、頻繁な削除が発生しやすい環境でストレージを効率的に処理する際に問題があることが知られています。

Snowflake

Snowflake は、パブリッククラウドテクノロジーのためのさまざまなオプションを提供するデータウェアハウジングソリューションです。Snowflake を使用すると、ビジネスをよりデータ駆動型にすることができます。Snowflake を使用して、エンタープライズグレードのクラウドデータウェアハウスをセットアップできます。Snowflake を使用すると、さまざまな非構造化および構造化ソースからのデータを分析できます。ただし、Snowflake は Azure、AWS、GCS に依存しています。これらのクラウドサーバーのいずれかが独立した停止を起こした場合、サポートが問題になる可能性があります。

Microsoft Azure Synapse

Microsoft Azure は、AI、ブロックチェーン、およびさまざまなユースケースに対応する 12 以上の独自のデータベースを含むソリューションを備えた、データ管理、分析、統合などのための堅牢なプラットフォームです。その中には、以前は Azure SQL Data Warehouse として知られていた Azure Synapse があります。これは、分析用に構築されたプラットフォームであり、サーバーレスまたはプロビジョニングされたリソースを使用してデータをクエリする機能を提供します。大規模に。Azure Synapse は、データウェアハウジングと分析の 2 つの世界を統合された体験でまとめ、即座の BI と機械学習のためにデータを取り込み、準備、管理、提供します。より広範な Azure プラットフォームには、さまざまな Azure データベースとインターフェースする他のものを含む、数千のツールが含まれています。実際、Microsoft に依存している多くの組織は、データ接続のために CData コンポーネントを活用しています。

最も人気のあるデータウェアハウジングプラットフォームの詳細については、ホワイトペーパー Cloud Data Pipeline Services をダウンロードして、各データウェアハウスの完全な調査をご覧ください。

ホワイトペーパーをダウンロード

CData Sync の紹介: データウェアハウジングをサポートする ETL

組織は、エンタープライズデータを集約するための簡素化されたプロセスにますます移行しています。CRM などとのサードパーティ統合と組み合わされたクラウドベースのデータウェアハウスは、エンタープライズデータの可能性を解き放つことができます。

CData Sync を使用すると、100 以上の一般的なデータソースからのデータ移動をサポートして、選択した任意のデータウェアハウスまたはデータベースの同期先に即座にデータをパイプできます。CData Sync を使用すると、すべてのデータを統合してバックアップできるため、常にそこにあり、安全で健全で、深い付加価値のあるデータ分析の準備ができています。

無料の CData Sync 30 日間無料トライアル をダウンロードして、選択したデータベースまたはウェアハウスに関係なく、データウェアハウジングイニシアティブを開始してください。