Skip to content

Commit

Permalink
fix 6.5.7 relu
Browse files Browse the repository at this point in the history
  • Loading branch information
KevinLee1110 committed Aug 15, 2017
1 parent a0ebf37 commit 3eb4740
Showing 1 changed file with 1 addition and 1 deletion.
2 changes: 1 addition & 1 deletion Chapter6/deep_feedforward_networks.tex
Original file line number Diff line number Diff line change
Expand Up @@ -1677,7 +1677,7 @@ \subsection{实例:用于MLP训练的\glsentrytext{BP}}
在较短的分支上,它使用对矩阵乘法的第二个变量的反向传播规则,将$\MH^\top \MG$加到$\MW^{(2)}$的梯度上。
另一条更长些的路径沿着网络逐步下降。
首先,反向传播算法使用对矩阵乘法的第一个变量的反向传播规则,计算$\nabla_{\MH} J = \MG\MW^{(2)\top}$
接下来,\verb|relu|操作使用其反向传播规则来对关于$\MU^{(1)}$的梯度中小于0的部分清零。记上述结果为$\MG'$
接下来,\verb|relu|操作使用其反向传播规则对先前梯度的部分位置清零,这些位置对应着$\MU^{(1)}$中所有小于0的元素。记上述结果为$\MG'$
反向传播算法的最后一步是使用对~\verb|matmul|操作的第二个变量的反向传播规则,将$\MX^\top \MG'$加到$\MW^{(1)}$的梯度上。

在计算了这些梯度以后,梯度下降算法或者其他优化算法所要做的就是使用这些梯度来更新参数。
Expand Down

0 comments on commit 3eb4740

Please sign in to comment.