BeautifulSoupを使用して、Webサイトから「href」リンクを抽出するにはどうすればよいですか。

BeautifulSoupは、Webページのデータを解析するために使用されるサードパーティのPythonライブラリです。さまざまなリソースからデータを抽出、使用、操作するプロセスであるWebスクレイピングに役立ちます。

Webスクレイピングは、調査目的でデータを抽出したり、市場の傾向を理解/比較したり、SEOモニタリングを実行したりするためにも使用できます。

以下の行を実行して、BeautifulSoupをWindowsにインストールできます-

pip install beautifulsoup4

以下は例です-

例

from bs4 import BeautifulSoup
import requests
url = "https://en.wikipedia.org/wiki/Algorithm"
req = requests.get(url)
soup = BeautifulSoup(req.text, "html.parser")
print("The href links are :")
for link in soup.find_all('a'):
   print(link.get('href'))

出力

The href links are :
…
https://stats.wikimedia.org/#/en.wikipedia.org
https://foundation.wikimedia.org/wiki/Cookie_statement
https://wikimediafoundation.org/
https://www.mediawiki.org/

説明

• 必要なパッケージがインポートされ、エイリアス化されます。

• ウェブサイトが定義されています。

• URLが開かれ、そこからデータが読み取られます。

• 「BeautifulSoup」関数は、Webページからテキストを抽出するために使用されます。

• 「find_all」関数は、ウェブページデータからテキストを抽出するために使用されます。

• hrefリンクはコンソールに印刷されています。