软件最大值
softmax定义
如果存在表示v的第I个元素的数组v，则该元素的softmax值为：
SoftmaxLayer和SoftmaxLossLayer
softmaxLayer
softmax实际上是logistic的扩展，后者只能二分类，前者可以多分类，实际上返回各级的概率值。 在caffe中softmax的实现分为以下步骤(加上softmax中输入的节点数为10 ) )。
1 )找出输入的最大值，对每个输入的变量减去最大值取指数(以e为底)；
2 )将1 )的结果正规化后的结果是每个类的分类概率。
软件矩阵
实际上是成本函数。 使分类正确的概率最大化。 然后，对这个概率取log对数。 所有成本函数都将最小化，因此在log前加上减号。 因为caffe都是以batch为单位训练的，所以计算loss的时候都是以batch为单位合计平均。
softmax loss是我们最熟悉的loss之一，在分类任务中使用它，在分割任务中仍然使用它。 softmax loss实际上是softmax和cross-entropy loss的组合，两者相加后数值计算更稳定。 现在让我们一起回顾一下它的数学推导。
如果将z作为softmax层的输入，将f(z )作为softmax的输出
单个像素I的softmax loss与cross-entropy error相等，为以下：
展开上式：
软件矩阵