BeautifulSoupを使ってWebページからタイトルを抽出する方法【初心者向け解説】

BeautifulSoupは、Webページからデータを解析（パース）するために使われるPythonのサードパーティ製ライブラリです。開発者が自然言語処理アプリケーションを構築する際に役立ち、収集したデータの分析や、そこから意味のあるインサイトを抽出することを支援します。

自然言語処理（NLP：Natural Language Processing）は機械学習の一分野であり、テキストデータを扱い、それを機械学習モデルへの入力として供給できるように前処理する手法を研究対象とします。

また、Webスクレイピングは研究目的でのデータ収集だけでなく、市場トレンドの把握や比較、SEOモニタリングなど、さまざまな用途に活用されています。

BeautifulSoupのインストール方法

Windows環境にBeautifulSoupをインストールするには、以下のコマンドを実行します。

pip install beautifulsoup4

実装例

以下は、Wikipediaのページからタイトルを抽出するサンプルコードです。

from bs4 import BeautifulSoup
import requests
url = "https://en.wikipedia.org/wiki/Algorithm"
req = requests.get(url)
soup = BeautifulSoup(req.text, "html.parser")
print("The titles are :")
print(soup.title)

実行結果

The titles are :
<title>Algorithm − Wikipedia

コードの解説

• 必要なパッケージをインポートし、エイリアスを設定します。

• スクレイピング対象となるWebサイトのURLを定義します。

• requestsライブラリでURLにアクセスし、ページのデータを読み込みます。

• 「BeautifulSoup」関数を使って、Webページからテキストを抽出します。

• 「title」属性を利用して、ページのタイトルを取得します。

• 取得したタイトルをコンソールに出力します。

このように、BeautifulSoupとrequestsを組み合わせることで、わずか数行のコードでWebページのタイトル情報を簡単に抽出できます。HTMLの構造解析にも対応しているため、より複雑なWebスクレイピング処理にも応用可能です。