1 .设置1.softmax函数
是的，很明显。
例如，那么
2 .用2.softmax函数推导(1) i=j时
)2)得I！=j时
综上所述：
所以呢
3.softmax函数的性质
其中x是向量，c是常数。 证明左右各自的分量相等。
证明：
实用：为了防止溢出，把x拉到最大值。 最大值是有效数据，其他值溢出也无法管理，也不关心。
4.softmax函数交叉熵代价函数
这里的是真值，是训练的目标，取0或1。 求导时是常数。 是softmax函数的输出值，是训练结果，是变量。
log似然代价函数c分别求偏导数，结果均为