PythonでNLTKを使ってストップワードを削除する方法

ストップワードとは

コンピュータが自然言語を処理する際、「the」「is」「a」のように極めて頻繁に出現するものの、ユーザーのニーズに合致する文書を選択するうえではほとんど価値をもたらさない単語があります。こうした単語は語彙から完全に除外されることがあり、「ストップワード(stop words)」と呼ばれます。

例えば、次の文を入力として与えた場合を考えてみましょう。

John is a person who takes care of the people around him.

ストップワードを削除すると、以下の出力が得られます。

['John', 'person', 'takes', 'care', 'people', 'around', '.']

NLTKのストップワードコーパス

NLTK(Natural Language Toolkit)には、こうしたストップワードのコレクションがあらかじめ用意されており、nltk.corpusモジュールから利用できます。この機能を使えば、任意の文章からストップワードを簡単にフィルタリングして除去できます。

なお、初回利用時にはストップワードおよびトークナイザー用のデータをダウンロードしておく必要があります。Pythonインタプリタで以下を実行してください。

import nltk
nltk.download('stopwords')
nltk.download('punkt')

実装例

実際にNLTKを使ってストップワードを除去するコード例を見てみましょう。

from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize

my_sent = "John is a person who takes care of people around him."
tokens = word_tokenize(my_sent)

filtered_sentence = [w for w in tokens if not w in stopwords.words()]

print(filtered_sentence)

出力

このコードを実行すると、以下の出力が得られます。

['John', 'person', 'takes', 'care', 'people', 'around', '.']

コードの解説

まずword_tokenize()で文章をトークン(単語)単位に分割します。続いてリスト内包表記を用い、stopwords.words()に含まれていない単語だけを抽出しています。その結果、元の文からストップワードが取り除かれたリストが出力されます。

この手法は、テキスト分類や検索エンジンの前処理など、ノイズとなる頻出語を排除したい場面で広く活用されています。