二元交叉熵损失函数

交叉熵：
H(y(i), y ^ hat{y} y^​(i)) = - ∑ j = 0 q sum_{j=0}^q ∑j=0q​yj(i) log y ^ hat{y} y^​j(i)

其中向量y(i)维度是(1, q)，q为特征数量。交叉熵只关心对正确类别的预测概率，y(i)向量中只有某个值为1，其余全为0。

交叉熵损失函数定义为：

L = 1 n frac{1}{n} n1​ ∑ i = 1 n sum_{i = 1}^n ∑i=1n​H(y(i), y ^ hat{y} y^​(i))

L(w) = - ∑ i = 0 N sum_{i=0}^N ∑i=0N​[yilog σ sigma σ(xi) + (1 - yi)log(1 - σ sigma σ(xi))]

其中， σ sigma σ(x)是sigmoid函数，即：

σ sigma σ(x) = 1 1 + e − z frac{1}{1 + e^{-z}} 1+e−z1​

可视化的方法解释对数损失
交叉熵详解