企业官网建设流程全解析

竞价页面网站做优化,昆明网站如何制作,怎么做推广网站,c#做网站链式法则 前面介绍的计算图的正向传播将计算结果正向#xff08;从左到右#xff09;传递#xff0c;其计 算过程是我们日常接触的计算过程#xff0c;所以感觉上可能比较自然。而反向传播将局部导数向正方向的反方向#xff08;从右到左#xff09;传递#xff0c;一开…链式法则前面介绍的计算图的正向传播将计算结果正向从左到右传递其计算过程是我们日常接触的计算过程所以感觉上可能比较自然。而反向传播将局部导数向正方向的反方向从右到左传递一开始可能会让人感到困惑。传递这个局部导数的原理是基于链式法则chain rule的。本节将介绍链式法则并阐明它是如何对应计算图上的反向传播的。计算图的反向传播话不多说让我们先来看一个使用计算图的反向传播的例子。假设存在y f(x) 的计算这个计算的反向传播如图5-6 所示。如图所示反向传播的计算顺序是将信号E乘以节点的局部导数(∂y∂x)\left( \frac{\partial y}{\partial x} \right)(∂x∂y​),然后将结果传递给下一个节点。这里所说的局部导数是指正向传播中yf(x)y f(x)yf(x)的导数也就是y 关于x的导数 。比如假设yf(x)x2y f(x) x^2yf(x)x2则局部导数为∂y∂x2x\frac{\partial y}{\partial x} 2x∂x∂y​2x。把这个局部导数乘以上游传过来的值本例中为E然后传递给前面的节点。这就是反向传播的计算顺序。通过这样的计算可以高效地求出导数的值这是反向传播的要点。那么这是如何实现的呢我们可以从链式法则的原理进行解释。下面我们就来介绍链式法则。什么是链式法则介绍链式法则时我们需要先从复合函数说起。复合函数是由多个函数构成的函数。比如z(xy)2z (x y)^2z(xy)2是由式5.1所示的两个式子构成的。zt2 z t^2zt2txy t x ytxy链式法则是关于复合函数的导数的性质定义如下。如果某个函数由复合函数表示则该复合函数的导数可以用构成复合函数的各个函数的导数的乘积表示。这就是链式法则的原理乍一看可能比较难理解但实际上它是一个非常简单的性质。以式5.1为例∂z∂x\frac{\partial z}{\partial x}∂x∂z​z 关于x 的导数可以用∂z∂t\frac{\partial z}{\partial t}∂t∂z​z 关于t的导数和∂t∂x\frac{\partial t}{\partial x}∂x∂t​t 关于x的导数的乘积表示。用数学式表示的话可以写成式5.2。∂z∂x∂z∂t⋅∂t∂x \frac{\partial z}{\partial x} \frac{\partial z}{\partial t} \cdot \frac{\partial t}{\partial x}∂x∂z​∂t∂z​⋅∂x∂t​式5.2中的∂t∂ t∂t正好可以像下面这样“互相抵消”所以记起来很简单。∂z∂x∂z∂t⋅∂t∂x \frac{\partial z}{\partial x} \frac{\partial z}{\partial t} \cdot \frac{\partial t}{\partial x}∂x∂z​∂t∂z​⋅∂x∂t​现在我们使用链式法则试着求式5.2的导数∂z∂x\frac{\partial z}{\partial x}∂x∂z​。为此我们要先求式5.1中的局部导数偏导数。∂z∂t2t \frac{\partial z}{\partial t} 2t∂t∂z​2t∂t∂x1 \frac{\partial t}{\partial x} 1∂x∂t​1如式5.3所示∂z∂x\frac{\partial z}{\partial x}∂x∂z​等于2t∂t∂x\frac{\partial t}{\partial x}∂x∂t​等于1。这是基于导数公式的解析解。然后最后要计算的∂z∂x\frac{\partial z}{\partial x}∂x∂z​可由式5.3求得的导数的乘积计算出来。链式法则和计算图现在我们尝试将式5.4的链式法则的计算用计算图表示出来。如果用“**2”节点表示平方运算的话则计算图如图5-7 所示。如图所示计算图的反向传播从右到左传播信号。反向传播的计算顺序是先将节点的输入信号乘以节点的局部导数偏导数然后再传递给下一个节点。比如反向传播时“**2”节点的输入是∂z∂x\frac{\partial z}{\partial x}∂x∂z​将其乘以局部导数∂z∂t\frac{\partial z}{\partial t}∂t∂z​因为正向传播时输入是t、输出是z所以这个节点的局部导数是∂z∂t\frac{\partial z}{\partial t}∂t∂z​然后传递给下一个节点。另外图5-7 中反向传播最开始的信号∂z∂z\frac{\partial z}{\partial z}∂z∂z​在前面的数学式中没有出现这是因为∂z∂z1\frac{\partial z}{\partial z}1∂z∂z​1所以在刚才的式子中被省略了。图5-7 中需要注意的是最左边的反向传播的结果。根据链式法则$\frac{\partial z}{\partial z} \cdot \frac{\partial z}{\partial t} \cdot \frac{\partial t}{\partial x} \frac{\partial z}{\partial t} \cdot \frac{\partial t}{\partial x} \frac{\partial z}{\partial x}$成立对应“z 关于x的导数”。也就是说反向传播是基于链式法则的。把式5.3的结果代入到图5-7 中结果如图5-8 所示∂z∂t\frac{\partial z}{\partial t}∂t∂z​的结果为2(xy)2(x y)2(xy)。