Wgetを使用してWebサイトをPCにダウンロードする方法

WebブラウザなしでWebサイトをダウンロードする方法があるかどうか疑問に思ったことはありませんか？あなたは幸運です。 Linuxコマンドラインの力で、何でも可能です。このタスクを完了するには複数の方法がありますが、この記事ではwgetに焦点を当てています。

wgetとは何ですか？

wgetは、Webサーバーからコンテンツを取得するためのGNUコマンドラインユーティリティです。ダウンローダーとして、wgetはそれ自体が非常に強力です。 wgetは、HTTP、HTTPS、FTPなどの複数のプロトコルを処理できます。 wgetユーティリティの他の機能は次のとおりです。

• サイレントまたはバックグラウンドで実行する機能
• LinuxスクリプトまたはCRONジョブと統合
• 一度に複数のダウンロードを実行できます
• パスワードが必要なファイルをダウンロードします

なぜwgetなのですか？

Webサイトのアクティビティを実行できるツールは多数ありますが、wgetでは幅広い範囲を使用できます。これにより、ユーザーは次の方法でWebブラウザなしで機能できるようになります。

• ウェブサイトの完全なコピーをダウンロードする
• Webサイトから特定のファイルをダウンロードする
• オンデマンドでのファイルの取得の自動化
• 認証ポータルからドキュメントを取得する

wgetはほとんどのLinuxディストリビューションにも組み込まれているため、最初から利用でき、それ以上のインストールは必要ありません。

wgetの基本

wgetの使用を開始するのはかなり簡単です。まず、Linuxターミナルを開きます。

ターミナルウィンドウが開いたら、以下に示すようにwgetを実行できます。

wget URL

「URL」をウェブサイトの正確なURLに置き換えます。

部分的にダウンロードされたファイルを再開するには、-cを使用します 次のようにコマンドを切り替えます。

wget -c URL

wgetのダウンロードをサイレントにするには、-qを追加します 最初のwgetコマンドに切り替えます：

wget -q URL

wget内のオプションの適切な使用法がわからない場合は、以下を使用してください。

wget --help

Webサイト以外に、wgetを使用してファイルをダウンロードすることもできます。例：

wget https://example.com/file.zip

ファイルを取得して現在のディレクトリに保存するだけです。

別のファイル名または別の場所に保存する場合は、-Oを使用します フラグ。

wget https://example.com/file.zip -O ~/Documents/my_downloaded_file.zip

FTPオプション

前述のように、wgetはFTPもサポートしています。 FTPサイトを指定するだけの場合：

wget ftp://ftp.example.com

wgetは、匿名ログインが必要であると想定します。または、次のフラグを使用してユーザー名やパスワードなどを手動で指定することもできます。

• --ftp-user=USER ：ログイン用のユーザー名を指定します
• --ftp-password=PASS ：パスワードを指定します
• --no-passive-ftp ：パッシブ転送モードを無効にします

タイムアウト、再試行、ダウンロードの失敗

最後に、wgetには、サーバー接続の問題とタイムアウトに関連するいくつかのオプションがあります。もちろん、すべての障害に対処できるわけではありませんが、次のフラグはすべてサーバーの問題に対処することを目的としています。

• --tries=NUMBER ：ダウンロードを再試行する回数を指定します
• --retry-connrefused ：サーバーによって接続が拒否された場合でも、ダウンロードを再試行します
• --timeout=SECONDS ：グローバル設定–タイムアウトまでの待機時間
• --wait=SECONDS ：ダウンロードが成功するまでの待機時間（繰り返しの場合）

wgetを使用するのは誰ですか？

この投稿を読んで、「これはWebブラウザーを使用するよりも複雑ではるかに難しいように聞こえます」と思うかもしれませんが、システム管理者またはプログラマーとして、誰でもこのユーティリティの使用法を見つけることができます。以下は、私の役割が変わることもある、このコマンドを1日を通して使用する方法の2つの例です。

このコマンドをスケジュールして複数のWebサイトを一度にダウンロードできるため、セキュリティ研究者としての作業が容易になります。これを行うには、リスト内の複数のURL（1行に1つのURL）を含むテキストファイルを（任意のテキストエディターを使用して）作成します。 -iを使用して以下のコマンドを実行する スイッチを押すと、wgetはリスト内の各Webサイトをダウンロードします。

wget -i download_file_name URL

システム管理者として、パスワードで保護された場所から簡単にドキュメントを取得できます。これはオフラインでも役に立たない場合がありますが、wget permitを実行することで、サイトにクレデンシャルを追加できます。

wget --user=user_id --password=user_password URL

あります！思ったほど難しかったですか？ wgetを使用してアクションを自動化できると、時間を節約でき、オフラインでも作業できるようになります。何を失う必要がありますか？

以下にコメントを残して、これが役に立ったかどうかをお知らせください。