プログラミング
 Computer >> コンピューター >  >> プログラミング >> プログラミング

データウェアハウスの実装とは何ですか?


データウェアハウスには大量のデータが含まれています。 OLAPサーバーは、意思決定支援クエリが秒単位で確認応答されることを要求します。したがって、データウェアハウスシステムには、非常に効果的なキューブ計算手法、アクセス手法、およびクエリ処理手法を提供することが不可欠です。

データキューブの効率的な計算

多次元データ分析の中核となるのは、多くの次元のセットにわたる集計の効率的な計算です。 SQL用語では、これらの集計はgroup-byと呼ばれます。各group-byは直方体で表すことができます。ここで、group-byのセットは、データキューブを定義する直方体の格子を形成します。

基本直方体が与えられた場合のデータキューブの具体化には3つの選択肢があります-

  • 具体化なし −「非ベース」直方体は事前計算されません。これにより、高価な多次元集計をその場で計算することになり、非常に遅くなる可能性があります。

  • 完全な具体化 −すべての直方体を事前計算できます。結果として得られる計算された直方体の格子は、完全な立方体として定義されます。この選択では、通常、事前に計算されたすべての直方体を格納するために大量のメモリスペースが必要です。

  • 部分的な具体化 −可能な直方体のセット全体の適切なサブセットを選択的に計算できます。または、キューブのサブセットを計算することもできます。これには、各セルのタプル数がしきい値を超えている場合など、ユーザー指定の基準を満たすセルのみが含まれます。

OLAPデータのインデックス作成

効率的なデータアクセスをサポートできます。一部のデータウェアハウスシステムは、インデックス構造とマテリアライズドビュー(直方体を使用)を提供します。ビットマップインデックスアプローチは、データキューブでの高速検索を可能にするため、OLAP製品で有名です。ビットマップインデックスは、レコードID(RID)リストの代替表現です。

特定の属性のビットマップインデックスには、属性のドメイン内の値vごとに個別のビットベクトルBvがあります。特定の属性のドメインにn個の値が含まれている場合、ビットマップインデックスの各エントリにnビットが必要です(つまり、nビットのベクトルがあります)。属性がデータテーブルの特定の行の値vを持っている場合、その値を定義するビットは、ビットマップインデックスの対応する行で1に設定されます。その行の他のすべてのビットは0に設定されます。

OLAPクエリの効率的な処理

直方体を具体化し、OLAPインデックス構造を構築する目的は、データキューブでのクエリ処理を高速化することです。

  • 使用可能な直方体に対して実行する操作を決定します −これには、クエリで表される選択、射影、ロールアップ(group-by)、およびドリルダウン操作の対応するSQLおよび/またはOLAP操作への変換が含まれます。たとえば、データキューブのスライスとダイシングは、マテリアライズドキューブの選択と投影操作に対応できます。

  • 関連する操作を適用するマテリアライズド直方体を決定します −これには、クエリに回答するために使用できる可能性のあるいくつかの実体化された直方体の識別、直方体間の「優勢」関係の知識を使用した次のセットの剪定、残りの実体化された直方体の使用の値の推定、および最小コストの直方体の選択が含まれます。


  1. データウェアハウスのセキュリティの問題は何ですか?

    データウェアハウジングは、ビジネスに重要なビジネス洞察を与えるために、複数のソースからデータを収集して処理するために一般的に使用されるアプローチです。データウェアハウスは、管理上の意思決定をサポートするように特別に設計されています。 簡単に言うと、データウェアハウスは、組織の運用データベースから独立して維持されるデータベースを定義します。データウェアハウスシステムは、複数のアプリケーションシステムの統合を可能にします。分析用の統合された履歴情報の強固なプラットフォームを提供することにより、データ処理を提供します。 データウェアハウスは、データを多次元空間で一般化および一元化します。データウ

  2. データウェアハウスの設計は何ですか?

    データウェアハウジングは、複数のソースから情報を収集および管理して、ビジネスに重要なビジネス洞察をサポートできるアプローチです。データウェアハウスは、サポート管理の意思決定を目的として特別に作成されています。 データウェアハウスは、会社の運用データベースとは別に維持されるデータベースを定義します。データウェアハウスシステムは、複数のアプリケーションシステムの統合を可能にします。分析用の統合された履歴レコードの強固なプラットフォームをサポートすることにより、データ処理をサポートします。 データウェアハウスは、リモートベースエリアで定義されたマテリアライズドビューのグループと見なすことができま