前向き演算

各層のエッジは``時間遅延''の概念を持つ。例えば入力層から第1中間層の間のエッジは が設定されており、 を持つ3フレームの入力が第1中間層に渡される。第iノード第jフレームの入力層ノードの出力を、入力層-第1隠れ層間の重みをとすると、第kノード第lフレームの第1中間層ノードへの入力をは以下のように計算される。

ここで、は[入力層のノード数][第1中間層のノード数] の数の値を持つ。第1中間層の第フレームは、入力層第フレームから第1中間層第フレームにある全てのノードからの出力を受け取る。また、入力層第フレームから第1中間層層フレームへのエッジは、の値に関わらず全て同じ重みを持つ。ただし、第2中間層-出力層間に関しては全てのフレーム・ノードからエッジを張る。よって、本研究のモデルはネットワーク全体で785本の重み付きエッジを持つ。この模式図を図6.3に示す。

Figure 6.3: 前向き演算のフレーム間結合