Hessian矩阵是关于二阶导数的东东，经常出现在Taylor二阶展开、Newton法等中。 以前以为是普通的寻求二次指导的呗，有一天读了一篇文献，非常费解。 现在终于恍然大悟，没有注意到陷阱！
1 .变量为向量x。 请注意(f ) x )是实数函数。 ) ) ) ) ) ) ) ) ) ) )。
一次导数：
二次导数：即Hessian矩阵，实际上要求的是一次导数的再导出，但现在要求的是矢量导出而不是实值导出！
((注意：一阶微分和二阶微分的维数变化) ) ) ) ) ) ) ) )。
2 .变量是向量
一次导数：
二次导数：(此时注意矩阵值函数对矩阵求导！ ）
这里介绍矩阵值函数导出矩阵的定义形式。
定义1 :
是矩阵值函数，这里是f(x )的第ij个元素，是值函数。 现在，对矩阵变量x的f(x )的导数定义如下
所以(注意)维度变大了！ 请参阅。
现在回到二阶导数，定义如下。
(二阶导数的维数一定会变大！ 所以用Newton法一般很难求出Hessian矩阵的逆！ ）