1 .总体情况
2 .“分子布局”(Numerator layout )和“分母布局”(Denominator layout )人们常说,首先,y是针对x推导的。 其中y和x缺省情况下都是列向量,y为) mx1 ),x为) nx1 )
(1)分子排列——常用于y导出xT,即导出行向量。 得到mxn的矩阵。 来自如雅可比矩阵,是典型的分子构型。 雅可比矩阵的形式如下
可见,y仍然在纵向上变化,但横向向不同的x寻求指引,即x是横向的。 这就是y向xT寻求指导的原因。
(2)分母布局——经常使用yT对x求导,即列向量求导,得到nxm的矩阵。 实际上,这个矩阵是根据分子配置求出的矩阵的倒置。
另一方面,梯度是导数的转置,可知我们一般在分母布局中求出的导数为了得到梯度需要转置。 因此,梯度可以从分子构型的求导,也就是上述雅可比矩阵直接得到。
xddxhd矩阵是典型的分母布局。
以下建议,所有导数根据分母布局进行计算和分析,求梯度时倒排即可。
3 )计算规律(向量均为列向量)1)向量推导向量
(2)利用标量导出向量
x的二阶导数经常写为(x ) 2,只是为了方便起见,其实应该是xxt。
)3)向量引导标量
有关其他信息,请参见https://en.Wikipedia.org/wiki/matrix _ calculus # layout _ conventions
4 .补充(1)导数、梯度导数和梯度互为倒置,dddzm展开时,往往将展开结果写成梯度乘以向量。 注意差异。
)2)雅可比矩阵和xddxhd矩阵形式雅可比矩阵形式:
xddxhd矩阵格式: