人工知能は複製できるのか?AI搭載マシンと「再現性の危機」

人工知能の研究は再現できるのか?――AI分野を襲う「再現性の危機」とは

多くのAI研究者が、モデルの訓練に使用したソースコードを公開していないことが明らかになっています。この事実は、研究成果を検証したり、その上に新たな研究を積み重ねたい他の科学者たちを大いに悩ませています。

端的に言えば、急成長を続ける人工知能(AI)分野は今、「再現性の危機(replication crisis)」に直面しているのです。一般の方には些細な問題に聞こえるかもしれませんが、AIに関わる人々にとってこれは深刻な事態です。では、なぜ研究の再現・追試がそれほど重要なのでしょうか?

「再現(レプリケーション)」とは何か?

再現とは、研究者が既存のモデルやソフトウェア、アルゴリズム、その他の研究素材を遡って追跡・検証できるプロセスのことです。しかしAI分野では、こうした追試が専門家にとっても非常に困難になっており、大きな例外となりつつあります。再現ができなければ、研究全体が行き詰まってしまう恐れがあります。

なぜ追試(バックトラッキング)が重要なのか?

一般的な認識とは異なり、再現には独自のメリットがあります。結果を容易に検証したり、既存のパラダイムに対して改善案を提案したりできるからです。実際、自動化分野の研究者たちは、再現のおかげで使用するマシンを容易に修正・改良でき、大きな成果を上げてきました。

では、「AIの研究は再現可能なのか?」と問われれば、答えは「ノー、不可能です」です。

ソースコードが共有されない理由

研究者は通常、ソースコードを公開しません。フランス国立情報学自動制御研究所(INRIA)の計算神経科学者ニコラ・ルジエ(Nicolas Rougier)氏によれば、分野の外から見ると「厳格な手順に従えば望む結果が得られる」と思われがちですが、実際に研究に携わる者だけがその苦労を知っているといいます。

とはいえ、ソースコードを公開しないことを一概に責めることはできません。コードが企業の著作権や営業秘密に該当する場合もあれば、研究者が自らの成果をいち早く発表したいという競争意識を持つことも自然だからです。

しかし、ソフトウェアやマシンが機械学習アルゴリズムによって駆動されている場合、話は一気に複雑になります。これらのマシンは経験やシミュレーションを通じて学習するため、同じ環境であっても二度と同じ結果にはなりません。仮に極めて稀なケースとしてソースコードを入手できたとしても、同様の方法でマシンを訓練しない限り、望む結果を得ることはできないのです。

しかも、これはほぼ仮定の話に過ぎません。そもそも、過去にそのマシンを訓練するために使われた手法そのものを入手することはまず不可能だからです。信じてください――誰も、考えられるすべての条件や論文に定義されたサンプル空間のもとでアルゴリズムをテストする時間などありません。これこそが、AIプロジェクトの設計・開発に従来のマシンやプロジェクトよりもはるかに長い時間がかかる理由の一つなのです。

この文化を変える必要があることは否定できません。変えなければ、AI分野の指数関数的な成長は夢物語のまま終わってしまうでしょう。

現状のやり方は最適なのか?

専門家の中には、「安全性と人類の存続を守るためには、ソースコードは秘密にするか、ごく一部の選ばれた者だけと共有すべきだ」と主張する人もいます。しかし、共有相手がそれを悪用しないとどうやって保証できるのでしょうか?「機械学習アルゴリズムで悪用を検出すればいい」と考えるなら、残念ながらその技術はまだそこまで達していません。人間の行動をアルゴリズムだけで判定することには依存できないのです。

これから何をすべきか?

これらの技術をオープンにすれば騒動が収まると思うかもしれませんが、実際は逆で、それは災厄に等しい事態を招きかねません。テロリストや良識を欠いた者たちがリバースエンジニアリングを行い、大量破壊に利用する恐れがあるからです。

そこで提案したいのが、医療業界と同じ仕組みを取り入れることです。医薬品は、試験を経て承認されるまでその成分が公表されません。AIにも同様に、アルゴリズムを検証・審査するための専門委員会(ボード)を設置すれば、予測されるような悲惨な事態は回避できるかもしれません。

また、所有権や知的財産の法制度の陰に隠れるのではなく、協力して働くことに踏み出せば、より実り多い結果が得られるはずです。忘れてはならないのは、機械そのものに偏見はないということです。「審判の日」が本当に訪れるなら、私たち全員が危険にさらされます。協働と教師あり学習(supervised learning)こそが、私たちに残された唯一の頼みの綱なのです。

結論

人間にはAIの研究を再現できませんが、機械にはそれができます。2017年末、あるAIが同種の別のAIを作り出すという出来事がありました。これはGoogleが進めていた「AutoML」と呼ばれるプロジェクトによるもので、AI産業における次の大きな一歩となりました。

この発展は祝うべきものですが、その一方で重要な事実を見落としています。開発が自動化されたことで、ソフトウェアは人間には理解しがたいほど複雑になりつつあるのです。

このまま進めば、機械が人間の介入なしに自らを生み出す日も遠くないかもしれません。危険だと思いませんか?私たちが研究を遡って追試に忙しくしている間に、機械が自分のクローンを作り始めたら……?決して目を離さないようにしてください。

もし異なる意見をお持ちでしたら、ぜひコメント欄でお聞かせください!