テキストマイニングのプロセスとは？基本から6つの手順まで徹底解説

テキストマイニングとは？

テキストマイニングは「テキスト分析」とも呼ばれ、非構造化テキストを分析しやすい構造化データへと変換するプロセスです。テキストマイニングには自然言語処理（NLP）が不可欠であり、これによりコンピュータが人間の言語を学習し、自動的に処理できるようになります。

テキストマイニングとは、自然言語で書かれたテキストから重要なデータを抽出するプロセスと定義されます。テキストメッセージ、ドキュメント、メール、ファイルなど、私たちが日々生成するデータの多くは、自然言語によるテキストとして記録されています。テキストマイニングは一般的に、こうしたデータから有益なインサイトやパターンを導き出すために活用されます。

テキストマイニングは、自然言語処理を用いて非構造化テキストから価値ある知見を自動的に引き出す仕組みです。データをコンピュータが学習できる情報へと変換することで、テキストを感情・主題・意図ごとに分類する作業を自動化します。

テキストマイニングのプロセス（手順）

テキストマイニングのプロセスは、ファイルからデータを抽出するために、以下の6つのステップで構成されます。

1. ドキュメント収集

最初のステップでは、さまざまな形式で存在するテキストドキュメントを収集します。対象となるドキュメントは、PDF、Word、HTML、CSSなど多岐にわたる形式が考えられます。

2. ドキュメント前処理

この段階では、入力されたドキュメントから冗長な表現や矛盾、不要な単語を取り除き、ステミング（語幹抽出）などを施して、次のステップに備えてデータを整えます。具体的には以下の処理が行われます。

• トークン化（Tokenization）：ドキュメントを文字列として扱い、個々の単語を認識します。つまり、ドキュメントの文字列を単一の単位（トークン）に分割する処理です。
• ストップワードの除去：「a」「an」「but」「and」「of」「the」など、頻出するものの意味的な貢献が小さい定型的な単語を除去する処理です。
• ステミング（語幹抽出）：ステムとは、類似した意味を持つ単語群に共通する語幹を指します。この手法は単語の基底形を特定します。ステミングには「屈折除去」と「派生除去」の2種類のアプローチがあります。代表的なアルゴリズムのひとつがポーター（Porter）のアルゴリズムです。たとえば、ドキュメントに「resignation」「resigned」「resigns」といった単語が含まれる場合、ステミングを適用すると「resign」として統一して扱われます。

3. テキスト変換

テキストドキュメントは、単語（特徴量）とその出現情報の集合として捉えられます。このようなドキュメントを表現する方法としては、「ベクトル空間モデル」と「Bag of Words（単語袋モデル）」の2つが代表的です。

4. 特徴選択（属性選択）

この手法では、入力ドキュメントから無関係な特徴を取り除くことで、データベースの容量を抑え、検索処理を最小限にする効果が得られます。

5. データマイニング／パターン選択

このプロセスでは、従来のデータマイニング手法とテキストマイニングを組み合わせます。前段階で得られた構造化データベースに対して、古典的なデータマイニング技術を適用することが可能になります。

6. 評価

最終段階では、得られた結果を評価します。評価の結果は、そのまま意思決定などに活用することもできますし、次の一連の処理の入力として使用することもできます。