ニューラルネットワークは通常``バックプロパゲーション''と呼ばれる学習則が用いられ、出力層の誤差を中間層・入力層に伝播(逆誤差伝搬)させることで重みの更新を行う。また甘利らによってこの学習則の収束性が議論されている[18]。