PythonでWebページをクロールして最頻出単語を抽出するプログラム

本記事では、Webページをクロールして単語の出現頻度をカウントし、最も頻出する単語を抽出するPythonプログラムを紹介します。

クローリングには requests モジュールと BeautifulSoup モジュールを使用します。これらのライブラリを組み合わせることで、シンプルなWebクローラーを作成し、対象ページからテキストデータを抽出してリストに格納することができます。

処理の流れ

1. 指定したURLからHTMLソースコードを取得する
2. BeautifulSoupでHTMLを解析し、本文部分（div要素）のテキストを抽出する
3. テキストを小文字化・分割して単語リストを作成する
4. 記号などの不要な文字を除去してクリーンなリストに整形する
5. 辞書を使って各単語の出現回数をカウントする
6. Counterで上位10件の頻出単語を出力する

サンプルコード

import requests
from bs4 import BeautifulSoup
import operator
from collections import Counter

def my_start(url):
   my_wordlist = []
   my_source_code = requests.get(url).text
   my_soup = BeautifulSoup(my_source_code, 'html.parser')
   for each_text in my_soup.findAll('div', {'class':'entry-content'}):
      content = each_text.text
      words = content.lower().split()
      for each_word in words:
         my_wordlist.append(each_word)
      clean_wordlist(my_wordlist)

# 不要な記号を取り除く関数
def clean_wordlist(wordlist):
   clean_list = []
   for word in wordlist:
      symbols = '!@#$%^&*()_-+={[}]|\;:"<>?/., '
      for i in range(0, len(symbols)):
         word = word.replace(symbols[i], '')
      if len(word) > 0:
         clean_list.append(word)
   create_dictionary(clean_list)

def create_dictionary(clean_list):
   word_count = {}
   for word in clean_list:
      if word in word_count:
         word_count[word] += 1
      else:
         word_count[word] = 1
   c = Counter(word_count)
   # 最も多く出現した要素を返す
   top = c.most_common(10)
   print(top)

# メイン処理
if __name__ == '__main__':
   my_start("https://www.tutorialspoint.com/python3/python_overview.htm/")

コードの解説

my_start関数

引数として受け取ったURLにアクセスし、HTMLソースコードを取得します。続いてBeautifulSoupでHTMLを解析し、class="entry-content" を持つdiv要素内のテキストをすべて抽出します。テキストは lower() で小文字に統一し、split() で単語ごとに分割してリストへ追加していきます。

clean_wordlist関数

単語リストから記号や不要な文字を除去する関数です。あらかじめ定義した記号一覧を1文字ずつ走査し、単語内に含まれる場合は空文字に置き換えます。処理後、長さが0より大きい単語だけをクリーンなリストに残し、次の集計処理へ渡します。

create_dictionary関数

クリーン化された単語リストを受け取り、辞書型で各単語の出現回数をカウントします。最後に collections.Counter の most_common(10) メソッドを使い、出現頻度の高い上位10件の単語とその回数をタプルのリストとして表示します。

実行結果

プログラムを実行すると、指定したページ内で最も多く使われている単語が頻度順に出力されます。URLや抽出対象のHTML要素を変更すれば、任意のWebページのテキスト分析にも簡単に応用できます。