プログラミング
 Computer >> コンピューター >  >> プログラミング >> プログラミング

品質重視のデータウェアハウス設計とは?基本構成からアーキテクチャまで徹底解説

データウェアハウスとは何か

データウェアハウスとは、組織の運用系(オペレーショナル)データベースから独立して管理されるデータベースを指します。複数のアプリケーションシステムを統合することを可能にし、統合済みかつ履歴性のある堅牢なデータ基盤によって、分析を目的としたデータ処理を支えます。

マテリアライズド・ビューとしてのデータウェアハウス

データウェアハウスは、リモートの基底リレーション上に表現されたマテリアライズド・ビュー(実体化されたビュー)の集合として捉えることができます。問い合わせが確定すると、元のデータソースへアクセスすることなく、マテリアライズド・ビューを用いてローカル環境で計算が行われます。

また、データウェアハウスは時間とともに絶えず進化していく能動的な存在です。時が経つにつれて新たな問い合わせへの対応が求められます。多くの問い合わせはマテリアライズド・ビューのみで処理できますが、一般的には新しいビューをデータウェアハウスに追加する必要も生じます。

OLTP基盤の先にある3つの拡大方向

組織において基本的なオンライン・トランザクション処理(OLTP)のインフラが整備された後、SAP/R3に代表される標準化されたERPツールの導入も相まって、関心の対象は少なくとも以下の3つの方向へと広がっています。

  • 組織の内部・外部双方を含む、より幅広いマルチメディアデータソースへの対応。
  • 多様な関心や能力プロファイル、状況パラメータを持つ、より幅広いクライアント層への対応。
  • トランザクション処理によって生み出される膨大な経験的データを、組織の情報化とアクションに活かせる知識へと変換すること。

長期記憶として機能するデータウェアハウス

サプライチェーンマネジメントやBtoB電子商取引といった名称のもと、多彩なデータフロー・ロジスティクスアーキテクチャが提案されています。こうしたアーキテクチャでは、データベースは短中期の中間データストアとして扱われる一方、データウェアハウスは長期記憶、知識創造、そして知識管理の役割を担います。

データウェアハウスシステムの構成要素

データウェアハウスシステムは、主に以下の3つの要素で構成されます。

  • 各種データベース(ソースデータベース、データウェアハウス内のマテリアライズド・ビュー)
  • あるデータベースから別のデータベースへレコードを移送するデータ転送エージェント
  • システム本体およびその拡張に関するメタデータを保存するリポジトリ

ラッパーとメディエータによる統合アーキテクチャ

このアーキテクチャでは、まず異種混在のデータソースが「ラッパー」と呼ばれる抽出機構によって統一的な手法で扱えるように整えられ、続いて「メディエータ」がデータ統合と競合解決の役割を引き受けます。ラッパーとメディエータの分離は熟慮された設計判断であり、CORBAをはじめとするミドルウェアシステムにおけるサービスラッパーとリクエストブローカーの分離の考え方を反映したものです。

データマートと分析ツールの連携

標準化・統合されたデータは、最終的にマテリアライズド・ビューとしてデータウェアハウスに保存されます。これらの基底ビューは通常、わずかに集約された形をとります。さらに、特定の関心領域に関するより高度に集約された情報を格納した「データマート」が、複数のアナリストユーザー向けにカスタマイズされた第二レベルのキャッシュとして構築されます。データマートは、クエリ機能からスプレッドシートツール、そして本格的なデータマイニングシステムに至るまで、幅広いデータ分析ツールから活用されます。

  1. データウェアハウスのテストとは?目的・検証ポイント・課題を解説

    データウェアハウスとはデータウェアハウジングとは、複数のソースからデータを収集・管理し、ビジネスにとって有意義なインサイトを導き出すための手法です。データウェアハウスは、経営判断(マネジメント・ディシジョン)を支援するために特別に設計されています。簡単に言えば、データウェアハウスとは、組織の基幹業務用データベース(運用データベース)から独立して管理されるデータベースのことです。データウェアハウスシステムは複数のアプリケーションシステムの統合を可能にし、分析用に統合された履歴情報を提供する堅牢なプラットフォームとして機能します。データウェアハウスは、データを多次元空間上で一般化・一元化します。そ

  2. データウェアハウス設計とは?基本概念と4つの設計視点を解説

    データウェアハウスとはデータウェアハウスとは、複数の情報源からデータを収集・管理し、ビジネスにおける重要なインサイト(洞察)を支えるための仕組みです。経営層の意思決定を支援することを目的として特別に構築されており、日常業務で使われる運用データベースとは切り離して管理されます。データウェアハウスシステムは複数のアプリケーションシステムの統合を実現し、分析用に統合された過去のレコードを蓄積する堅牢なプラットフォームを提供することで、データ処理を支えます。データウェアハウスは、リモートにある基盤データ上に定義された「マテリアライズドビュー(実体化ビュー)」の集合体と捉えることができます。クエリが発行