本文共 794 字，大约阅读时间需要 2 分钟。

前向传播： 此时，X1, X2, Wac, Wad, Wbc, Wbd, d1, d2, Wce, Wde, d3都是已知量。 Ic = Wac * X1 + Wbc * X2 + d1 Id = Wad * X1 + Wbd * X2 + d2 Oc = sigmoid(Ic) Od = sigmoid(Id) Ie = Wce * Oc + Wde * Od + d3 y1 = sigmoid(le)

均方误差：

J = 1/2 * (y1 - y)^2

sigmoid导数：

Sigmoid(x)’ = Sigmoid(x) * (1-sigmoid(x))

反向传播：

此时，y, y1, le, Od, Oc, Id, Ic也都是已知量。 D{J} / D{y1} = y1 - y D{J} / D{le} = D{J} / D{y1} * D{y1} / D{le} = (y1 - y)y1(1 - y1) D{J} / D{Wce} = D{J} / D{le} * D{le} / D{Wce} = (y1 - y)y1(1 - y1)Oc

D{J} / D{Oc} = D{J} / D{le} * D{le} / D{Wde} = (y1 - y)y1(1 - y1)Wce

D{J} / D{lc} = D{J} / D{Oc} * D{Oc} / D{lc} = (y1 - y)y1(1 - y1)WceOc(1-Oc)

D{J} / D{Wac} = D{J} / D{lc} * D{lc} / D{Wac} = (y1 - y)y1(1 - y1)WceOc(1-Oc)*X1

更新权重：

delta{Wce} = - k * D{J} / D{Wce} // 学习率 new{Wce} = Wce + delta{Wce} // 权重更新 其它略

转载地址：http://duwji.baihongyu.com/