Pythonで単語の出現頻度をカウントし、重複を除いた単語数を求める方法

単語のリストが与えられたとき、同じ単語が複数回出現することがあります。本記事では、各単語の出現頻度を表示するとともに、重複を除いた単語の種類数をカウントするPythonプログラムを解説します。

問題の概要

例えば、入力が words = ["Book", "Sound", "Language", "Computer", "Book", "Language"] の場合、出力は (4, '2 1 2 1') となります。これは、リストに含まれる異なる単語が4種類であり、そのうち「Book」と「Language」がそれぞれ2回出現しているためです。

解決の手順

• d: 挿入された順序を保持する OrderedDict を作成します
• words 内の各単語 w について以下を繰り返します
  • w が d に既に存在する場合は、d[w] += 1 としてカウントを1つ増やします
  • 存在しない場合は、d[w] = 1 として新規登録します
• 最後に、d のキーの総数(= 異なる単語の種類数)と、d のすべての値を空白区切りで連結した文字列をタプルとして返します

実装例

以下のコードで実際の動作を確認できます。

from collections import OrderedDict

def solve(words):
   d = OrderedDict()
   for w in words:
      if w in d:
         d[w] += 1
      else:
         d[w] = 1
   return len(d.keys()), ' '.join([str(d[k]) for k in d.keys()])

words = ["Book", "Sound", "Language", "Computer", "Book", "Language"]
print(solve(words))

入力

["Book", "Sound", "Language", "Computer", "Book", "Language"]

出力

(4, '2 1 2 1')

補足：よりシンプルな代替手段

なお、Python 3.7以降では通常の辞書(dict)も挿入順序を保持するため、OrderedDictを使わずに collections.Counter を利用すれば、さらに簡潔に記述できます。

from collections import Counter

def solve(words):
    c = Counter(words)
    return len(c), ' '.join(str(v) for v in c.values())

どちらの方法でも、単語の順序を保ちながら出現頻度を正確に集計できます。用途に応じて使い分けるとよいでしょう。