テキスト検索の手法とは？代表的な2つのアプローチを徹底解説

テキスト検索（テキストリトリーバル）とは、非構造化テキストを構造化された形式へ変換し、意味のあるパターンや新たな知見を発見するプロセスです。ナイーブベイズ、サポートベクターマシン（SVM）、その他の深層学習アルゴリズムといった高度な分析技術を活用することで、組織は非構造化データの中に潜む隠れた関係性を探索・発見できます。テキスト検索には主に「文書選択」と「文書ランキング」の2つの手法があります。

1. 文書選択（Document Selection）

文書選択方式では、クエリは関連する文書を選び出すための制約条件として扱われます。このカテゴリの代表的なアプローチがブーリアン検索モデルです。ブーリアン検索では、文書はキーワードの集合によって定義され、ユーザーは「car AND repair shops（車 かつ 修理店）」「tea OR coffee（紅茶 または コーヒー）」「database systems but not Oracle（データベースシステム、ただしOracleを除く）」のようなブーリアン式で検索条件を指定します。

検索システムはこうしたブーリアンクエリを受け取り、その論理式を満たすレコードを返します。ただし、ブーリアンクエリでユーザーが必要とする情報を正確に記述するのは複雑なため、ブーリアン検索技術がうまく機能するのは、ユーザーが対象の文書集合について十分な知識を持ち、最適なクエリを組み立てられる場合に限られます。

2. 文書ランキング（Document Ranking）

文書ランキング方式では、クエリを使ってすべてのレコードを関連性の高い順に並べ替えます。一般のユーザーや探索的な検索においては、文書選択方式よりもこちらの方が適しています。現在のほとんどのデータ検索システムは、ユーザーのキーワードクエリに対して、ランク付けされたファイルの一覧を提示します。

ランキング手法には、代数、論理、確率、統計など幅広い数学的基盤に基づくものが多数存在します。これらの技法に共通する基本的な考え方は、クエリ内のキーワードと各レコード内のキーワードを結び付け、クエリとの一致度に応じて各レコードにスコアを付けるというものです。

目的は、文書内および文書全体における単語の出現頻度などの情報に基づいて計算されたスコアによって、レコードの関連度を近似することです。しかし、キーワードの集合間の関連度を正確に測定することは本質的に困難です。例えば、「データマイニング」と「データ分析」の距離を定量化するのは容易ではありません。

ベクトル空間モデルとは

文書ランキングの中で最も広く使われているのがベクトル空間モデルです。その基本概念は以下のとおりです。文書とクエリの両方を、すべてのキーワードに対応する高次元空間上のベクトルとして表現し、適切な類似度尺度を用いてクエリベクトルとレコードベクトル間の類似性を評価します。そして、得られた類似度の値を文書のランキングに活用します。