BeautifulSoupを使ってWebサイトからhrefリンクを抽出する方法

BeautifulSoupは、Webページからデータを解析（パース）するために使われるPythonのサードパーティ製ライブラリです。さまざまなソースからデータを抽出・加工・活用する「Webスクレイピング」を行う際に非常に役立ちます。

Webスクレイピングは、研究目的のデータ収集だけでなく、市場トレンドの把握や比較、SEOモニタリングなど、幅広い用途で活用されています。

BeautifulSoupのインストール

Windows環境にBeautifulSoupをインストールするには、以下のコマンドを実行します。

pip install beautifulsoup4

実装例：hrefリンクの一括取得

以下は、Wikipediaのページからすべてのhrefリンクを抽出するサンプルコードです。

from bs4 import BeautifulSoup
import requests

url = "https://en.wikipedia.org/wiki/Algorithm"
req = requests.get(url)
soup = BeautifulSoup(req.text, "html.parser")

print("The href links are :")
for link in soup.find_all('a'):
    print(link.get('href'))

出力結果

The href links are :
…
https://stats.wikimedia.org/#/en.wikipedia.org
https://foundation.wikimedia.org/wiki/Cookie_statement
https://wikimediafoundation.org/
https://www.mediawiki.org/

コードの解説

• 必要なパッケージ（bs4とrequests）をインポートし、利用できる状態にします。
• スクレイピング対象となるWebサイトのURLを定義します。
• requests.get()でURLにアクセスし、ページのHTMLデータを取得します。
• BeautifulSoup関数にHTMLとパーサー（html.parser）を渡して、解析可能なオブジェクトを生成します。
• find_all('a')メソッドを使うことで、ページ内のすべてのアンカータグ（<a>タグ）を取得できます。
• 各リンクからget('href')でhref属性の値を取り出し、コンソールに出力します。

このように、BeautifulSoupとrequestsを組み合わせることで、わずか数行のコードでWebページ内のリンクを簡単に抽出できます。特定の条件でリンクを絞り込みたい場合は、CSSセレクターや正規表現と組み合わせることで、さらに柔軟なデータ抽出が可能になります。