ニューラルネットワークはバックプロパゲーションでどのように学習するのか？仕組みを徹底解説

ニューラルネットワークとは

ニューラルネットワークとは、人間の脳の働き方を模倣するプロセスを通じて、データセットの中に潜む基本的な関係性を発見しようとする一連のアルゴリズムです。このアプローチでは、ニューラルネットワークは生物学的あるいは人工的なニューロン（神経細胞）のシステムを表現します。

ニューラルネットワークは、脳の認知システムや神経機能における（仮説上の）学習プロセスをモデル化した分析手法であり、既存のデータに対して「学習」と呼ばれるプロセスを実行した後、他の観測値から新しい観測値（特定の変数について）を予測することができます。

バックプロパゲーションの学習ステップ

バックプロパゲーション（誤差逆伝播法）は、以下のステップで進行します。

• ネットワークが訓練用データを受け取り、現在の重みを使って出力を計算します。
• バックプロパゲーションは、計算された結果と期待される結果（実際の結果）との差分から誤差を算出します。
• 誤差はネットワークを通じて逆方向に伝播され、誤差を最小化するように重みが修正されます。誤差がネットワークの後方へ伝えられることから、「バックプロパゲーション（逆伝播）」と呼ばれます。

誤差の計算と重みの更新

バックプロパゲーションアルゴリズムは、各訓練データで生成された値を実際の値と比較することで、ネットワーク全体の誤差を計算します。まず出力層の重みを調整して誤差を減らすことができますが、それだけでは誤差を完全に取り除くことはできず、アルゴリズムはまだ完了しません。

次に、誤差の「責任」をネットワーク内の前段のノードへと帰属させ、それらのノードを結ぶ重みを調整することで、全体の誤差をさらに減らしていきます。誤差を割り当てる具体的な構造の詳細は本質的ではありませんが、バックプロパゲーションには活性化関数の偏微分を含む複雑な数値計算手順が必要である点は押さえておきましょう。

一般化デルタ則と2つの重要なパラメータ

この重みを更新する手法は「一般化デルタ則（generalized delta rule）」と呼ばれます。一般化デルタ則の使用に関連する重要なパラメータが2つあります。

モーメンタム（慣性項）

1つ目はモーメンタムです。これは、各ユニット内の重みが現在進んでいる「方向」を維持しようとする傾向を定義します。つまり、各重みはそれが大きくなってきたのか小さくなってきたのかを記憶しており、モーメンタムはその方向への変化を継続させようとします。モーメンタムが大きいネットワークは、重みを逆転させる必要がある新しい訓練データに対して反応が遅くなります。逆にモーメンタムが低いと、重みはより自由に振動しやすくなります。

学習率

2つ目は学習率で、重みが変化する速さを制御します。学習率の最適な設定方法は、大きい値から始めて、ネットワークの訓練が進むにつれて徐々に減らしていくことです。初期の重みはランダムな値であるため、大きな振動があることで最適な重みの近傍にたどり着きやすくなります。しかし、ネットワークが最適解に近づくにつれて学習率を下げる必要があります。そうすることで、ネットワークは大域的な最適な重みに対して微調整を行えるようになります。