Pythonlxmlを使用したWebスクレイピングの実装

この記事では、Pythonで利用可能なlxmlモジュールを使用したWebスクレイピング手法について学習します。

ウェブスクレイピングとは何ですか？

Webスクレイピングは、クローラー/スキャナーを使用してWebサイトからデータを取得/取得するために使用されます。 Webスクレイピングは、APIの機能を提供しないWebページからデータを抽出するのに便利です。 Pythonでは、Beautiful Soup、Scrappy、lxmlなどのさまざまなモジュールを使用してWebスクラップを実行できます。

ここでは、lxmlモジュールを使用したWebスクレイピングについて説明します。

そのためには、最初にlxmlをインストールする必要があります 。

ターミナルまたはコマンドプロンプトを入力します-

>>> pip install lxml

ここでは、xpathを使用してデータにアクセスします。

この記事では、さまざまなゲームに関する情報を含むSteamと呼ばれるWebサイトからデータを抽出します。

https://store.steampowered.com/genre/Free%20to%20Play/

このページでは、人気のある新しいリリースのセクションから情報を抽出しようとします。

ここでは、名前、価格、関連するタグ、ターゲットプラットフォームを抽出します。

このページで、chromeの要素の検査機能を使用して[新しいリリース]タブのhtmlコードを参照してください。ここで、どのタグが必要な情報を保存しているかを知ることができます。

このウェブサイトで;すべてのリスト要素は、さらにカプセル化されるdivタグid=tab_contentにカプセル化されます

a div tag id=tab_select_newreleases

それでは、実装を見てみましょう