フォーカスされたWebクローラーとは何ですか？

フォーカスされたWebクローラーは、Webの比較的狭いセグメントを定義する特定の主題のセットに関するページを調査、取得、索引付け、およびサポートするハイパーテキストシステムです。ハードウェアとWebリソースへの投資はごくわずかですが、実行することが比較的少ないという理由だけで、かなりのカバレッジを迅速に管理します。

焦点を絞ったWebクローラーは、トピック分類に埋め込まれた例から関連性を識別することを学習する分類子と、インターネット上のトピックの見晴らしの良い場所を認識する蒸留器によって実行されます。

焦点を絞ったWebクローラーは、垂直検索エンジンを使用して、ターゲットトピックに固有のWebページをクロールします。フェッチされた各ページは、事前定義されたターゲットトピックに分類されます。ページがトピックに関連していると予測される場合、そのリンクが抽出され、URLキューに追加されます。

それ以外の場合、クロールプロセスはこのページから続行されません。この種のフォーカスされたWebクローラーは、フルページのコンテンツを分類するため、「フルページ」のフォーカスされたWebクローラーと呼ばれます。別の言い方をすれば、ページ上のすべての接続のコンテキストは、ページ全体のコンテンツ自体です。

この種のWebクローラーは、インデックス作成をより効果的に作成し、WorldWideWebの巨大なリポジトリからデータをより迅速かつ適切に取得するという基本的な要件を達成するのに役立ちます。いくつかの検索エンジンがこの方法を使用して、ヒット数を直接増やすWebコンテンツを作成しながら、よりリッチなエクスペリエンスをユーザーに提供し始めています。

クローラーマネージャーは、ハイパーテキストアナラ​​イザーに続くシステムの重要な要素です。コンポーネントは、グローバルWebからファイルをダウンロードします。 URLリポジトリ内のURLが回復され、クローラーマネージャーのバッファーに作成されます。

URLバッファは優先キューです。 URLバッファーのサイズによって異なりますが、クローラーマネージャーは、ファイルをダウンロードするクローラーのインスタンスを動的に作成します。より効果的にするために、クローラーマネージャーはクローラープールを生成できます。マネージャーは、クローラーの速度を制限し、クローラー間の負荷を分散することにも責任があります。これは、クローラーを検査することで完了します。

クローラーはマルチスレッドのJavaコードであり、インターネットからWebページをダウンロードし、ファイルをドキュメントリポジトリに保存するのに適しています。すべてのクローラーにはキューがあり、クロールされるURLのファイルに影響を与えます。クローラーはキューからURLを回復しました。

異なるクローラーが同じサーバーへのリクエストを共有しているはずです。その場合、同様のサーバーにリクエストを送信すると、サーバーが過負荷になります。サーバーは、リクエストを共有しているクローラーから表示される必要のあるリクエストを完了し、応答を楽しみにしています。