多層人工ニューラルネットワークの仕組みと学習手法をわかりやすく解説

人工ニューラルネットワーク（ANN）は、パーセプトロンモデルよりも複雑なメカニズムを持っています。多層人工ニューラルネットワークには、いくつかの代表的な手法が存在します。本記事では、その構造と学習アルゴリズムについて詳しく解説します。

隠れ層（中間層）の導入

ネットワークは、入力層と出力層の間に複数の中間層を持つことができます。これらの中間層は「隠れ層」と呼ばれ、隠れ層に配置されたノードは「隠れノード」と呼ばれます。このような構造を持つアーキテクチャが、多層ニューラルネットワークです。

フィードフォワード型とリカレント型の違い

フィードフォワードニューラルネットワークでは、ある層のノードは次の層のノードにのみ接続されます。パーセプトロンは、複雑な数値演算を実行する出力層というただ一つの層しか持たないため、単一層のフィードフォワードネットワークとみなされます。一方、リカレントニューラルネットワークでは、同じ層内のノード同士や、ある層から前の層への接続も許容され、より柔軟な情報処理が可能になります。

活性化関数の多様化

ネットワークは、符号関数以外のさまざまな活性化関数を使用できます。代表的な例としては、線形関数、シグモイド（ロジスティック）関数、双曲線正接（tanh）関数などが挙げられます。これらの活性化関数により、隠れノードや出力ノードは、入力パラメータに対して非線形な出力値を生成できるようになります。

複雑な関係のモデル化

こうした構造上の複雑性によって、多層ニューラルネットワークは入力変数と出力変数間のより高度で複雑な関係をモデル化できます。例えば、2つの超平面を使って入力空間をそれぞれのクラス領域に分割することで、従来の単純パーセプトロンでは不可能だった分類問題も表現できるようになります。

ANNの重み学習の必要性

ANNモデルの重みを適切に学習するには、十分な量の訓練データが与えられたときに正しい解へ収束する効率的なアルゴリズムが必要です。一つの方法として、ネットワーク内の各隠れノードや出力ノードを独立したパーセプトロン単位とみなし、同じ重み更新式を適用する考え方が挙げられます。

単純な重み更新の課題

しかし、この方法は実際にはうまく機能しません。隠れノードの正しい出力に関する事前知識（アプリオリ情報）がないため、各隠れノードに対応する誤差項 (y − y′) を求めることが困難になるからです。この問題を解決するために、勾配降下法に基づく重み学習手法が考案されました。

勾配降下法による学習の目的

ANN学習アルゴリズムの目的は、二乗誤差の総和を最小化する重み w の集合を決定することです。目的関数は以下のように定義されます。

$$\mathrm{E(w)\:=\:\frac{1}{2}\displaystyle\sum\limits_{i=1}^N (Y_{i}-Y^{'}_i)^2}$$

この二乗誤差の総和が重み w に依存するのは、予測クラス y′ が隠れノードおよび出力ノードに与えられた重みの関数だからです。さらに、シグモイド関数やtanh関数などの活性化関数の選択により、ANNの出力はパラメータの非線形関数となります。この非線形性こそが、多層ニューラルネットワークの高い表現力の源泉となっています。