フォーカストWebクローラーを構成する主要コンポーネントとは？

フォーカストWebクローラー（Focused Web Crawler）は、特定のトピックに関連するページだけを効率的に収集するために設計されたクローラーで、複数の専用コンポーネントから構成されています。ここでは、それぞれのコンポーネントの役割を詳しく解説します。

1. シード検出器（Seed Detector）

シード検出器は、対象となるキーワードに対して最初のn件のURLを取得し、クロールの出発点となるシードURLを決定する役割を担います。識別されたシードページには、PageRankアルゴリズムやHITSアルゴリズム、あるいはそれらに類似したアルゴリズムに基づいて優先度が割り当てられます。

2. クローラーマネージャー（Crawler Manager）

クローラーマネージャーは、ハイパーテキストアナライザーに次ぐシステムの中核的なコンポーネントです。このコンポーネントは、ワールドワイドウェブからファイルをダウンロードする役割を持ちます。URLリポジトリ内のURLが取得され、クローラーマネージャーのバッファに格納されます。

URLバッファは優先度付きキューとして実装されており、そのサイズに応じて、クローラーマネージャーはファイルをダウンロードするクローラーのインスタンスを動的に生成します。

さらに効率を高めるため、クローラーマネージャーはクローラープールを生成することもできます。また、マネージャーはクローラーの速度制限やクローラー間の負荷分散も担当しており、これらはクローラーの監視を通じて実現されます。

3. クローラー（Crawler）

クローラーはマルチスレッドのJavaプログラムであり、Webからページをダウンロードし、ドキュメントリポジトリにファイルを保存する役割を果たします。各クローラーは独自のキューを持ち、そこにはクロールすべきURLのリストが格納されています。クローラーはこのキューからURLを取り出して処理を行います。

複数のクローラーが同じサーバーにリクエストを送信する可能性があります。同一サーバーへのリクエストが集中すると過剰な負荷がかかるため、同期機構が設けられています。あるURLへのリクエストがまだ他のクローラーと共有されていない場合にのみ、そのリクエストはHTTPモジュールへ転送されます。これにより、クローラーが特定のサーバーに過負荷をかけることを防いでいます。

4. リンク抽出器（Link Extractor）

リンク抽出器は、ドキュメントリポジトリ内のファイルからリンクを抽出します。このコンポーネントは、抽出したURLが既に取得済みのURL一覧に存在するかどうかを確認します。未発見の場合は、ハイパーリンクの前後にあるテキストや、そのリンクが含まれる見出し・小見出しといった文脈情報も併せて抽出します。

5. ハイパーテキストアナライザー（Hypertext Analyzer）

ハイパーテキストアナライザーは、リンク抽出器からキーワードを受け取り、タクソノミー階層（Taxonomy Hierarchy）に基づいて、その内容が検索キーワードとどの程度関連しているかを判定します。これにより、トピックに関連性の低いページのクロールを回避できます。

6. HTTPプロトコルモジュール（HTTP Protocol Module）

HTTPプロトコルモジュールは、キューから受け取ったURLを持つファイルのリクエストを送信します。ドキュメントを受信すると、ダウンロードしたドキュメントのURLがタイムスタンプとともに取得済みURLリストに記録され、ドキュメント自体はドキュメントリポジトリに保存されます。