学習の停滞

式(3.1)～(3.4)の通り、ニューラルネットはというパラメータ群を持つ。ここで、の各要素を座標に持つ 次元の``ニューラルネットワークのパラメータ空間''を``ニューロ多様体''と呼ぶ。このニューロ多様体についての詳しい議論は甘利らに譲るが、この多様体は特異点構造を持つ。すなわち、多様体が``潰れて''しまう点が存在し、これは(1)重みと入力の積がになる場合、(2)1対以上の重みの絶対値が等しくなる場合に起こる。このとき、ニューラルネットワークの学習が停滞する。この特異点付近を、``ローカルミニマム''もしくは``プラトー''と呼ぶ。