ディープウェブの検索方法｜Googleで見つからない情報を探し出す4つのテクニック

「Googleで見つからないものは、そもそも存在しない」——そう思っていませんか?確かにGoogleは非常に優れた検索エンジンですが、実際には世界中に存在する情報のごく一部しか発見できません。Googleは数十億規模のページをインデックスしていますが、それでも何らかの理由でインデックスされていないページは無数に存在します。こうしたページはディープウェブ(Deep Web)の奥深くに埋もれており、正しい探し方を知っていれば、意外と簡単に見つけ出せる可能性があります。

ディープウェブとダークウェブは別物

「Googleにインデックスされていないページ」と聞くと、真っ先にダークウェブ(Dark Web)を思い浮かべる方も多いでしょう。ダークウェブ(ダークネットとも呼ばれます)は確かに「Googleに登録されていないサイト」という条件には当てはまりますが、ダークウェブとディープウェブはまったくの別物です。

ディープウェブの典型的な例として、Facebookの非公開グループが挙げられます。このようなページはログインしないとアクセスできないため、クローラー(Googlebot)は中身を読み取れず、インデックス対象になりません。しかし、あなた自身がログインすれば普通に閲覧できます。同様に、有料会員制のページもクローラーはインデックスできませんが、料金を支払えば誰でも閲覧可能です。

また、no-followリンクやリンク切れ、ユーザーが検索した瞬間に動的に生成されるページなども、検索エンジンのインデックスを妨げる要因となります。しかし人間であれば、こうした情報にも問題なくアクセスできます。さらに、画像・動画など検索エンジンが解釈できない形式で提供されている情報も、ディープウェブコンテンツの一種です。これらのページは通常のブラウザでアクセスでき、通信には一般にHTTP(またはHTTPS)プロトコルが使われています。

一方のダークウェブは、暗号化機能を内蔵した特殊なルーティングプロトコルを使用します。代表的なものとしてはTORやI2Pが知られています。ダークウェブには違法なリソースも多数存在しており、仮に検索エンジンが技術的にインデックスできたとしても、決して登録されることはありません。

両者の違いがわかったところで、次にディープウェブから目的の情報を見つけるための具体的な方法を見ていきましょう。

1. 他の検索エンジンを使ってみる

あるページがGoogleではヒットしないのに、他の検索エンジンではインデックスされているケースがあります。厳密に言えば、検索エンジン経由でアクセスできる時点でそのページはディープウェブには該当しません。しかし、検索の始まりも終わりもGoogleだけという人にとっては、実質的に「存在しないページ」と同じです。

DuckDuckGo、Bing、地域特化型のローカル検索エンジンなど、普段とは違う検索エンジンをときどき使う習慣をつけてみてください。思わぬ良質な情報に出会えて驚くはずです。

2. Googleでトップページを見つけたら、あとは自力で探索する

別のパターンとして、Googleがサイトのトップページしかインデックスしていない場合があります。これは、ログインや課金が必要なサイト、no-follow設定のためにクロールされなかったページを持つサイトなどでよく起こります。この場合は話は簡単です。まずGoogleでトップページを特定し、そこから自分の手でサイト内を掘り下げていきましょう。サイト内に検索機能が備わっていれば、作業はさらに楽になります。

3. Google Booksや図書館を活用する

学術的な情報を探しているなら、まずGoogle Booksを試してみましょう。目的の文書が確かに存在すると分かっているのにGoogle Booksで見つけられない場合は、図書館、とりわけ大学の附属図書館へ足を運んでみてください。多くの大学図書館は有料の学術データベースを契約しており、一般利用者でも無料または低価格で利用できるケースがあります。

4. ディープウェブ専用の検索エンジンを試す

意外に思われるかもしれませんが、ディープウェブには専用の検索エンジンが存在します。インターフェースや機能の面ではGoogleに遠く及ばないものがほとんどですが、「見かけで判断してはいけません」。

こうした検索エンジンの数は非常に多く、目的の情報にたどり着くまでにかなりの時間を要することもあります。場合によっては、数日〜数週間探し回っても成果が出ないこともあるでしょう。ディープウェブ検索エンジンのまとめリストを確認し、自分の関心分野に関連するものをピックアップしてみてください。また、既存ページの過去のバージョンや、かつてネット上に存在したが今は消えてしまった情報を探すなら、「Internet Archive」プロジェクトが強力な味方になります。

ディープウェブからの情報収集は、一般的な検索よりひと手間かかるかもしれません。しかし、極めて専門性の高い情報を求めているなら、総合検索エンジンよりもディープウェブの方が思いがけない発見につながる可能性大です。