単調増加ではなく振動的である

シグモイド関数よりも関数の勾配が急であることが多いため，入力の僅かな変化が出力の大きな変動につながりやすい．また、関数がいくつかの異なる極値を持つため，教師信号から遠い値に初期化されてしまった場合は，学習により多くの時間がかかるなど収束効率に深刻な影響を及ぼす可能性がある。乱数による初期化を行った場合，収束速度や精度の度合いに大きな変動が起こりやすく，学習が不安定になりがちであった．その原因のひとつとして，この振動性と極値の問題が関わっていると考えられる．