BeautifulSoupを使ってPythonでWebサイトのドメイン名を抽出する方法

BeautifulSoupは、Webページからデータを解析（パース）するために使われるPythonのサードパーティ製ライブラリです。さまざまなリソースからデータを抽出・活用・加工する「Webスクレイピング」を支援するツールとして広く利用されています。また、自然言語処理（NLP）アプリケーションの開発をサポートしたり、データを分析して有益なインサイトを抽出したりすることにも役立ちます。

自然言語処理（NLP）とは、機械学習の一分野であり、テキストデータを扱い、機械学習モデルの入力として渡せるように前処理を行う手法を研究する領域です。

Webスクレイピングは、研究目的のデータ収集や、市場トレンドの把握・比較、SEOモニタリングなど、幅広い用途に活用できます。

Windows環境にBeautifulSoupをインストールするには、以下のコマンドを実行します。

コード例

pip install beautifulsoup4
import requests
from bs4 import BeautifulSoup
from urllib.request import urlopen
import urllib

url = 'https://en.wikipedia.org/wiki/Algorithm'
parsed_uri = urllib.request.urlparse(url)
domainName = '{uri.scheme}://{uri.netloc}/'.format(uri=parsed_uri)
print("The domain name is : ")
print(domainName)

出力結果

The domain name is :
https://en.wikipedia.org/

解説

• 必要なパッケージをインポートし、エイリアスを設定します。

• 対象となるWebサイトのURLを定義します。

• 「netloc」属性と「scheme」属性を使ってドメイン名を組み立てます。

• 「urlparse」関数を呼び出してURLを解析し、ドメイン名を取得します。

• 取得したドメイン名をコンソールに出力します。

なお、「urllib.parse.urlparse」はPythonの標準ライブラリに含まれるため、URLからのドメイン名抽出自体はBeautifulSoupなしでも実行可能です。ただし、実際にページ内のリンクを収集してドメイン一覧を作成するといった処理では、HTMLの解析に便利なBeautifulSoupと組み合わせて使うのが一般的です。