Pythonで文字列内の各単語の出現頻度をカウントする3つの方法

テキスト分析では、さまざまなアルゴリズムで処理を行うために、単語を数えて重み付けすることがよくあります。本記事では、与えられた文中の各単語の頻度（出現回数）を求める方法を紹介します。主に以下の3つのアプローチがあります。

1. collectionsモジュールのCounterを使う方法

標準ライブラリのcollectionsモジュールに含まれるCounter()を使うと、単語の頻度を簡単に取得できます。まずsplit()で文章を単語に分割し、その結果に対してmost_common()を適用することで、出現回数の多い順に並べたリストが得られます。

コード例

from collections import Counter
line_text = "Learn and practice and learn to practice"
freq = Counter(line_text.split()).most_common()
print(freq)

上記のコードを実行すると、以下のような結果が出力されます。

[('and', 2), ('practice', 2), ('Learn', 1), ('learn', 1), ('to', 1)]

2. NLTKのFreqDist()を使う方法

自然言語処理ツールキット（NLTK）が提供するFreqDist関数は、文字列内の総単語数だけでなく、ユニークな単語の種類数も確認できます。most_common()を適用すれば、各単語の頻度を取得できます。

コード例

from nltk import FreqDist
text = "Learn and practice and learn to practice"
words = text.split()
fdist1 = FreqDist(words)
print(fdist1)
print(fdist1.most_common())

上記のコードを実行すると、以下のような結果が出力されます。

<FreqDist with 5 samples and 7 outcomes>
[('and', 2), ('practice', 2), ('Learn', 1), ('learn', 1), ('to', 1)]

3. 辞書（Dictionary）とcount()を使う方法

このアプローチでは、まず文章をsplit()で単語のリストに分割し、リスト内包表記でcount()を適用して各単語の出現回数を求めます。その後、zip()で単語と頻度値を組み合わせ、最終的な結果を辞書として表示します。

コード例

text = "Learn and practice and learn to practice"
words = []
words = text.split()
wfreq=[words.count(w) for w in words]
print(dict(zip(words,wfreq)))

上記のコードを実行すると、以下のような結果が出力されます。

{'Learn': 1, 'and': 2, 'practice': 2, 'learn': 1, 'to': 1}

まとめ

単語の頻度を数える方法として、標準ライブラリのみで手軽に実装できるCounter、統計情報も併せて確認できるNLTKのFreqDist、依存ライブラリなしで柔軟に制御できる辞書とcount()の組み合わせの3つを紹介しました。用途や規模に応じて最適な手法を選択してください。なお、大文字と小文字は区別されるため、必要に応じてlower()などで正規化してからカウントするとよいでしょう。