ウェブ検索エンジンとは？仕組みと技術的課題をわかりやすく解説

ウェブ検索エンジンの基本構造

ウェブ検索エンジンとは、インターネット（Web）上のデータを検索するために特化したコンピュータサーバーです。ユーザーが検索クエリを入力すると、その結果がリスト形式（「ヒット」と呼ばれます）で返されます。ヒットの内容には、Webページだけでなく、画像やさまざまな種類のファイルも含まれます。

検索エンジンとウェブディレクトリの違い

Web上の情報を検索するほかにも、公開データベースやオープンディレクトリに存在するデータを収集して結果として返す検索エンジンもあります。

検索エンジンとウェブディレクトリの大きな違いは、その運用方法にあります。ウェブディレクトリは人間の編集者によって管理・構築されるのに対し、検索エンジンはアルゴリズムによって、あるいはアルゴリズムと人間の入力を組み合わせて動作します。

検索エンジンとデータマイニングの関係

ウェブ検索エンジンは、大規模なデータマイニングアプリケーションと捉えることができます。実際、検索エンジンのあらゆる要素において、複数のデータマイニング手法が活用されています。

• クローリング：どのページを巡回対象にするか、どの頻度でクロールするかを決定する
• インデックス作成：インデックス化するページを選定し、インデックスをどの程度の範囲まで構築するかを判断する
• 検索：ページのランキング方法の決定、表示する広告の選定、検索結果のカスタマイズや「コンテキストアウェア（文脈認識型）」な応答の生成

検索エンジンが直面する3つの技術的課題

課題1：膨大かつ増加し続けるデータへの対応

検索エンジンは、データマイニング分野にとって大きな挑戦課題です。第一に、膨大かつ増加の一途をたどるデータを扱わなければなりません。このようなデータ量は、少数のマシンでは処理できません。そのため、検索エンジンでは数千から数十万台規模のコンピュータで構成されるコンピュータクラウドを利用し、各マシンが協調して大量の情報をマイニングします。コンピュータクラウドや高度に分散されたデータセット上でデータマイニング手法をスケールアップさせることは、現在も活発に研究されているテーマです。

課題2：リアルタイムのオンライン処理

第二に、ウェブ検索エンジンはオンラインでの処理に対応しなければなりません。検索エンジンは大規模データセットをもとに、オフラインでモデルを構築できます。たとえば、ユーザーの検索クエリをトピックに基づいて事前定義されたカテゴリへ分類する「クエリ分類器」を作成することも可能です。しかし、オフラインで構築したモデルをオンラインで運用する際には、ユーザーのクエリにリアルタイムで応答できる高速な処理が求められます。

さらに、急速に増加するデータストリームに対してモデルを維持し、逐次的に更新していくことも重要な課題です。たとえば、新しいクエリは日々増え続け、事前定義されたカテゴリやデータの分布も変化するため、クエリ分類器は継続的にインクリメンタルに保守・更新される必要があります。しかし、現行のモデル学習手法の多くはオフラインかつ静的なものであり、こうした運用にはそのまま適用できません。

課題3：検索回数の少ないクエリへの対応

第三に、ウェブ検索エンジンは、ごく少数の回数しか検索されないクエリにも対処する必要があります。たとえば、コンテキストアウェアなクエリ処理をサポートする場合を考えてみましょう。ユーザーがクエリを入力すると、検索エンジンはユーザープロファイルや過去のクエリ履歴をもとにそのクエリの文脈を推測し、わずか1秒の何分之一という短時間で、よりパーソナライズされた回答を返さなければなりません。