一、什么是Softmax？ 正如文字所示，Softmax可以分为soft和max两个部分。 叫max的不可思议是最大值的意思。 Softmax的核心在于soft，而soft有柔软的意思，与此相对，hard很硬。 在许多场景中，必须找到数组所有元素中值最大的元素，实质上是所要求的hardmax。
importtensorflowastfprint (TF._ _ version _ (#2.0.0a _ max=TF.reduce _ max ([ 1，2，3，4，5 ] ) ) ) prinnt 例如，在文本分类中，一篇文章或多或少包含各种主题信息，要求每个可能的文本类别的文章概率值(置信度)属于相应类别时可以轻松理解的置信度。 因此，虽然在这里使用了soft的概念，但是Softmax的意思不是唯一地决定某个最大值，而是对每个输出分类的结果赋予概率值，表示属于各级的可能性。
Softmax函数的定义如下。 以第I个节点的输出为例。
中选择所需的墙类型。 其中cmdggx是第I个节点的输出值，c是输出节点的数量，即分类类别的数量。 使用Softmax函数，可以将多分类的输出值转换为[ 0，1 ]和1范围内的概率分布。
二、引入指数格式的优势importtensorflowastfprint (TF._ _ version _ _ )2.0.0a=TF.constant ([ 2，3，5 ] )、 dtype=tf.float32 ) B1=a/TF.reduce_sum(a )指数print(B1 ) TF.tensor([0.2.0.3.5]，shape=(3) ) dype=float32 ) B2使用TF.nn.soft max (a )指数的softmaxprint ) B2 ) TF.tensor ([0. 04201007.11419519.8437947 ]，ss 三.引入指数形式的缺点指数函数的曲线斜率逐渐增大，可以拉开输出值，但带来缺点，输出值非常大，计算得到的数值也非常大，数值可能溢出。 importnumpyasnpscores=NP.array ([ 123，456，789 ] ) softmax=NP.exp(scores )/NP.sum (NP.exp ) scores ) )
importnumpyasnpscores=NP.array ([ 123，456， 789 ) scores-=NP.max(scores ) p=NP.exp (scores )/NP.sum(NP.exp ) scores ) ) print(p ) ) 5.7527406e