在机器学习中矩阵向量求导(一)求导定义和求导布局中，讨论了向量矩阵求导的9种定义和求导布局的概念。 今天我们讨论其中标量对矢量求导、标量对矩阵求导、矢量对矢量求导三个场景的基本求导思路。
本文中标量对矢量或矩阵的导出，如前所述，将分母的布局作为默认布局。 引导向量，以分子布局为既定布局。 如果其他文章的引导结果与正文不同，请先确认使用的引导布局是否相同。 此外，由于机器学习中很少有向量和矩阵引导标量的情况，所以本系列不单独讨论这两个导出过程。
1 .用定义法求解标量对矢量求导标量对矢量求导。 严格来说是实数函数对矢量的求导。 即，定义了实数函数f:RnRf:RnR，并且自变量xx是n维向量，并且输出yy是标量。 对于给定的实数函数，如何求解yxyx呢？
首先，考虑了根据矩阵求导的定义进行。 标量对矢量的求导，实际上是标量对矢量中的各成分分别求导，最后将求导的结果并列用一个矢量表示。 那么，可以将实数函数引导到向量的每个分量，最后找到规律，得到引导的结果向量。
我们先来看一个简单的例子。 y=aTxy=aTx，求解atxxatxx
根据定义，首先对xx的第I个分量进行求导。 这是标量对标量的引导，如下所示。
at XXI=j=1najxjxi=aixixi=aiatxxi=j=