データウェアハウスのツールとユーティリティは何ですか？

データウェアハウジングは、主にさまざまなソースからデータを収集および管理して、ビジネスに有意義なビジネス洞察を与えるために使用される手法です。データウェアハウスは、管理上の意思決定をサポートするように特別に設計されています。

簡単に言うと、データウェアハウスとは、組織の運用データベースとは別に管理されているデータベースを指します。データウェアハウスシステムは、複数のアプリケーションシステムの統合を可能にします。分析用の統合された履歴情報の強固なプラットフォームをサポートすることにより、データ処理を提供します。

データウェアハウスは、多次元領域の情報を一般化および統合します。データウェアハウスの構築には、データクリーニング、データ統合、およびデータ変換が含まれ、データマイニングの重要な前処理ステップと見なすことができます。これらのツールとユーティリティには、次の機能が含まれます-

データ抽出

データクリーニング −データクリーニングとは、欠落している値を入力し、ノイズの多いデータを平滑化し、外れ値を特定して削除し、データの不整合を削除することによってデータをクリーニングすることを意味します。

データクリーニングの種類

• 欠測値 −欠落している値は適切な値で埋められます。以下は、値を埋めるためのアプローチです。

• ノイズの多いデータ −ノイズは、測定された変数のランダムエラーまたは分散です。以下は、次のようなノイズを処理するための平滑化手法です-

  • ビニング −これらの手法は、ソートされたデータ値を、その「近隣」、つまりノイズの多いデータに関する値に助言することによって平滑化します。ソートされた値は、複数のバケットまたはビンに割り当てられます。ビニングメソッドは値の近傍を参照するため、ローカル平滑化を実装します。

  • 回帰 −回帰を含め、レコードを関数に適合させることにより、データを平滑化できます。線形回帰では、2つの属性（または変数）に適合する「最適な」線を見つけて、一方の属性を使用してもう一方の属性を予測できるようにします。重回帰は線形回帰の続きであり、3つ以上の属性が含まれ、データは多次元表面に適合します。

  • クラスタリング −クラスタリングは、外れ値の識別に役立ちます。同様の値はクラスターに編成され、クラスターの外にある値は外れ値と呼ばれます。

データ変換 −データ変換では、データはマイニングに適した形式に変換または統合されます。データ変換には、次のことが含まれます-

• スムージング −データからノイズを除去するために機能する可能性があります。このような手法には、ビニング、回帰、クラスタリングが含まれます。

• 集約 −集計では、集計または集計操作がデータに適用されます。

• 一般化 −一般化では、低レベルまたは「プリミティブ」（生）データが、概念階層を使用して大規模な概念によって復元されます。

ロード −ソート、要約、統合、ビューの計算、整合性のチェック、インデックスとパーティションの構築が可能です

更新 −データソースからデータウェアハウスに更新を伝播できます。