Pythonのurllib.requestモジュールを使用してインターネットにアクセスする

urllib.requestを使用します ほとんどの場合HTTPプロトコルを使用するURLにアクセスして開くためのPythonのモジュール。

使用されるインターフェースは、初心者が使用して学ぶのも非常に簡単です。 urlopenを使用します さまざまなプロトコルを使用してさまざまなURLをフェッチできる関数。

さまざまな機能を使い始めると、私たちが何を扱っているのかをよりよく理解できるようになります。それでは、始めましょう。

はじめに

urllib ライブラリはPythonと一緒にパッケージ化されています。したがって、個別にインストールする必要はありませんが、環境に追加する必要があり、まだインストールしていない場合は、pipパッケージマネージャーを使用してインストールできます。

ターミナルを起動し、以下のコードを使用します

pip install urllib

インストールしたら、適切なモジュールをインポートして、スクリプトの作成を開始できます。

urllib.requestをチェックアウト

ほとんどの場合、urllib.requestを使用して、データまたはページのソースコードを開いて読み取ります。これは、APIからデータを取得しようとしている場合に特に役立ちます。たとえば、

import urllib.request
request_url = urllib.request.urlopen('https://official−joke−api.appspot.com/random_ten')

上記のコード行は、ジョークAPIを開き、そのデータを読み取ります。

その内容を印刷したい場合は、-

print(request_url.read())

注 −これは値をバイト形式で出力します。プレーンテキストが必要な場合は、デコード機能を使用してください。

print(request_url.read().decode())

APIからデータを保存し、後でRegExを使用して解析して、重要なデータのみを取得することもできます。

例

import urllib.request
data = urllib.request.urlopen('https://official−joke−api.appspot.com/random_ten')
data = data.read().decode()
print(data)
file = open("content.txt", "w+")
file.write(data)
file.close()

注 − FTP、HTTPSなどのさまざまなプロトコルでURLにアクセスできます。 urlopen すべての異なるプロトコルでまったく同じように機能します。

URLへのデータの送信

Common Gateway Interfaceを使用している場合は、URLにデータを送信することをお勧めします。これは、POSTリクエストを送信するHTTPでの動作と同様です。

これは、urllib.requestとurllib.parseモジュールを使用して実現できます。

最初にモジュールをインポートしましょう。

例

import urllib.parse
import urllib.request
url = 'https://www.google.com/cgi-bin/register.cgi'
values = {'name' : 'S Vijay Balaji', language' : 'Python' }
data = urllib.parse.urlencode(values)
data = data.encode('ascii')
req = urllib.request.Request(url, data)
with urllib.request.urlopen(req) as response:
   the_page = response.read()

これにより、提供されたURLからソースコードが出力されます。

結論

urllib.requestモジュールは、インターネットリソースを取得してそこからデータを取得できることを考えると、非常に便利です。

APIからデータを解析したり、ウェブページのソースコードを読み取ってコンテンツを取得したりするときに便利です。

urllib.requestを使用してさまざまなAPIからデータを抽出したプロジェクト-https：//github.com/SVijayB/Steam_WebScraper。

urllib.requestモジュールには他にもさまざまな関数があります。興味があり、詳細を知りたい場合は、https：//docs.python.org/3/library/urllib.request.htmlにある公式ドキュメントを参照してください。