自動化されたドキュメント分類はどのように実行できますか？

膨大な数のオンラインファイルが存在するため、自動ドキュメント分類は不可欠なテキストマイニングサービスです。ドキュメントの取得と継続的な分析をサポートするために、このようなレコードをクラスに自動的に整理できることは無限ですが重要です。

ドキュメント分類は、自動化されたトピックのタグ付け（つまり、ドキュメントへのラベルの割り当て）、トピックディレクトリの構築、ドキュメントの書き込みスタイルの識別、および一連のドキュメントに関連するハイパーリンクの目標の定義に使用されています。

一般的な手順は次のとおりです。最初に、事前に分類されたファイルのグループがトレーニングセットとして使用されます。トレーニングセットは、分類スキームを変更するために分析されます。このような分類スキームは、テスト用のオハセで改良する必要がありました。このように派生した分類スキームは、複数のオンラインファイルの分類に使用できます。

このフェーズは、リレーショナルレコードの分類と同じように発生します。すべてのタプルが属性と値のペアのグループによって記述されるなど、リレーショナルデータは適切に構造化されています。

たとえば、タプル{晴れ、暖かい、乾いた、風が強くない、テニスをする}では、値「晴れ」は属性の天気予報に相当し、「暖かい」は属性の気温に相当します。

分類分析は、人がテニスをするかどうかを決定する際に、属性と値のペアのどのグループが最も高い識別力を持っているかを判断します。言い換えると、ドキュメントデータベースは、属性と値のペアに従って構造化されていません。

これは、一連のドキュメントに関連付けられた一連のキーワードであり、固定された一連の属性またはディメンションに編成されていません。ドキュメント内の個別のキーワード、用語、または機能をディメンションとして表示すると、ドキュメントのセットに数千のディメンションが含まれる場合があります。したがって、デシジョンツリー分析を含むリレーショナルデータ指向の分類方法が一般的に使用されており、ドキュメントデータベースの分類には効率的ではありません。

ベクトル空間モデルによると、2つのファイルが同じファイルベクトルを共有している場合、それらは同じです。このモデルは、類似したドキュメントに同じクラスラベルが割り当てられると予想されるという直感に基づいて、k最近傍分類器の構築を促進します。

それぞれが対応するクラスラベルに関連付けられている、すべてのトレーニングドキュメントにインデックスを付けることができます。テストドキュメントが送信されると、それをIRシステムへのクエリとして扱い、トレーニングセットからクエリに最も類似したk個のドキュメントを取得できます。kは調整可能な定数です。

テストファイルのクラスラベルは、k最近傍のクラスラベル分布に応じて決定できます。このようなクラスラベルの配布は、生のカウントではなく加重カウントに基づいたり、検証のためにラベル付きドキュメントの一部を取っておいたりするなど、改良することもできます。