フォーカスされたWebクローラーのコンポーネントは何ですか？

フォーカスされたWebクローラーには、次のようなさまざまなコンポーネントがあります-

シード検出器 −シード検出器のサービスは、最初のn個のURLをフェッチすることにより、definiteキーワードのシードURLを決定することです。シードページは、PageRankアルゴリズム、ヒットアルゴリズム、またはそれと同じアルゴリズムに応じて識別され、優先度が割り当てられます。

クローラーマネージャー − Crawler Managerは、ハイパーテキストアナラ​​イザーに続くシステムの重要なコンポーネントです。コンポーネントは、グローバルWebからファイルをダウンロードします。 URLリポジトリ内のURLが取得され、クローラーマネージャーのバッファーに作成されます。

URLバッファは優先キューです。 URLバッファのサイズによって異なりますが、Crawler Managerは、ファイルをダウンロードするクローラーのインスタンスを動的に作成します。

より効果的にするために、クローラーマネージャーはクローラープールを生成できます。マネージャーは、クローラーの速度を制限し、クローラー間の負荷を分散することにも責任があります。これは、クローラーを検査することで完了します。

クローラー −クローラーはマルチスレッドJavaコードであり、WebからWebページをダウンロードし、ファイルをドキュメントリポジトリに保存するのに適しています。すべてのクローラーにはキューがあり、クロールされるURLのリストに影響を与えます。クローラーはキューからURLを取得しました。

異なるクローラーは、同様のサーバーへの要求を共有していました。したがって、同様のサーバーにリクエストを送信すると、サーバーが過負荷になります。サーバーは、リクエストを共有しているクローラーから表示される必要のあるリクエストを完了し、応答を楽しみにしています。

サーバーは同期して作成されます。 URLのリクエストが以前に共有されていない場合、リクエストはHTTP構造に転送されます。これにより、クローラーが一部のサーバーに過負荷をかけないようにします。

リンクエクストラクタ −リンクエクストラクタは、ドキュメントリポジトリに存在するファイルから接続を取得します。コンポーネントは、取得したURLに含まれるURLをテストします。検出されない場合は、ハイパーリンクの前後の周囲のテキスト、接続が存在する見出しまたは小見出しが抽出されます。

ハイパーテキストアナラ​​イザー −ハイパーテキストアナラ​​イザーは、リンクエクストラクターからキーワードを取得し、分類法の階層を定義する検索キーワードを使用してメソッドの関連性を検出します。

HTTPプロトコルモジュール − HTTPプロトコルモジュールは、キューからURLが確認されたファイルの要求を共有します。ドキュメントを受信すると、ダウンロードされたドキュメントのURLがタイムスタンプとともにフェッチされたURLに保存され、ドキュメントはドキュメントリポジトリに保存されます。