データ前処理のタスクは何ですか？

データの前処理には、次のような主要なステップがあります。つまり、データクリーニング、データ統合、データ削減、およびデータ変換です-

データクリーニング −データクリーニングルーチンは、欠落している値を入力し、ノイズの多い情報を平滑化し、外れ値を特定または排除し、偏差を解決することにより、情報を「クリーンアップ」するように動作します。ユーザーがデータが汚れていることを理解している場合、使用されたデータマイニングの結果を信頼する可能性は低くなります。

さらに、データがダーティであると、マイニングフェーズが混乱し、出力が不安定になる可能性があります。一部のマイニングルーチンには、不完全またはノイズの多い情報を処理するためのフェーズがありますが、常に強力であるとは限りません。代わりに、モデル化されている関数への情報の過剰適合の防止に集中できます。

データ統合 −データ統合は、いくつかの異なるソースからのデータをマージする手順です。データ統合を実行する際には、データの冗長性、不整合、重複などに対処する必要があります。データマイニングでは、データ統合はレコードの前処理方法であり、複数の異種データソースからのデータをコヒーレントデータにマージして、統合を維持および提供します。データの観点。

データ統合は、ヘルスケア業界では特に重要です。複数の患者データと診療所からの統合データは、複数のシステムからのデータを有益なデータの個々の視点に統合し、そこから有益な洞察を引き出すことにより、臨床医が医学的障害や疾患を認識するのを支援します。

データ削減 −データ削減の目的は、データをよりコンパクトに定義することです。データサイズが小さい場合は、高度で計算コストの高いアルゴリズムを使用する方が簡単です。データの削減は、複数の行（レコード）または複数の列（ディメンション）の観点から行うことができます。

次元削減では、データエンコード方式を使用して、初期データの削減または「圧縮」された記述を取得します。例には、データ圧縮方法（たとえば、ウェーブレット変換や主成分分析）、属性サブセットの選択（たとえば、無関係な属性の削除）、および属性の構築（たとえば、より有益な属性の小さなセットが初期セットから変更される場合）が含まれます。

数の削減では、回帰または対数線形モデルなどのパラメトリックモデル、またはヒストグラム、クラスター、サンプリング、データ集約などのノンパラメトリックモデルを使用して、代替のより小さな記述によってデータが復元されます。

データ変換 −データ変換では、要約または集計操作を実行することにより、データがマイニングに適用可能な形式に変換またはリンクされます。データ変換では、-

スムージング −データからノイズを除去するために機能する可能性があります。このような手法には、ビニング、回帰、およびクラスタリングが含まれます。

集約 −集約では、要約または集約サービスがデータに使用されます。たとえば、日次の売上データを集計して、月次および年次の合計金額を計算できます。この手順は通常、いくつかの粒度でレコードを分析するためのデータキューブの開発に使用されます。