k-NNアルゴリズムの利点は何ですか？

k最近傍アルゴリズムは、クラスメンバーシップ（Y）と予測子X ₁の間の関係の構造に関する仮定を作成しない分類アプローチです。 、X ₂ 、…。 X _n 。

これは、線形回帰でふりをした線形形式を含む、ふりをした関数形式でのパラメーターの推定を含まないため、ノンパラメトリックアプローチです。このメソッドは、データセット内のデータの予測値間の類似性からデータを抽出します。

k-NN法の利点は、その整合性とパラメトリックな仮定の必要性です。膨大なトレーニングセットが存在する場合、これらのアプローチは、各クラスが予測値のいくつかの組み合わせによって特徴づけられる場合に特に効果的です。

たとえば、不動産データベースでは、{住宅の種類、部屋の数、近隣地域、希望価格など}のセットがいくつかある可能性があります。これらの住宅は、売れ行きが速い住宅と、長期間残っている住宅を特徴づけます。業界。

k-NN法の威力を現実的に活用するには、3つの困難があります。

トレーニングデータからパラメーターを計算するのに時間は必要ありませんが（回帰を含むパラメトリックモデルの場合のように）、巨大なトレーニングセットで最近傍を発見する時間は制限される可能性があります。この困難を克服するために、複数の概念が実装されています。主なコンセプトは以下の通りです-

• 主成分分析などの次元削減手法を使用して縮小されたディメンションで作業することにより、距離の計算にかかる時間を短縮できます。

• 検索ツリーなどの高度なデータ構造を使用して、最近傍の識別を高速化できます。この方法は、速度を上げるために「最も近い」隣人に落ち着くことがよくあります。インスタンスはバケットを使用しており、各バケット内のデータが互いに近くなるようにデータがバケットに結合されます。

トレーニングセットで大規模と見なされるために必要な複数のデータは、複数の予測子のpとともに指数関数的に増加します。これは、トレーニングセットの量がpで指数関数的に増加しない限り、pで最近傍までの予想距離が大幅に増加するためです。この現象は次元の呪いと呼ばれ、分類、予測、およびクラスタリングのアプローチに関連する基本的な問題です。

k-NNは「怠惰な学習者」です −時間のかかる計算は予測時間まで遅れます。予測されるデータごとに、予測時にのみトレーニングデータの完全なセットからの距離を計算できます。この動作は、複数のデータを同時にリアルタイムで予測するためにこのアルゴリズムを使用することで制約されます。