定义损耗函数(Loss Function )定义在单个样本中，用于评估模型的预测值和真实值之间的差异有多大，是指一个样本的误差。
成本函数(Cost Function ) :整个训练集中定义的是所有采样误差的平均值，即所有损失函数值的平均值。
目标函数(Object Function )是指最终需要优化的函数，一般为经验风险加结构风险(成本函数正则化项)，正则化项指惩罚项，起矫正作用。
常见损失函数1，0-1损失函数0-1损失是指预测值和目标值不相等为1，否则为0。
从损失函数可以看出，预测结果是正确的还是错误的，完全没有考虑预测值与真值之间的误差程度，对分类任务来说确实是正确的还是错误的，但对回归任务来说预测误差略有不同或者相差很大，但这样的这种损失的界限很多，在实际场景中很少使用。
二、绝对值损失函数绝对值损失函数是计算预测值与目标值之差的绝对值。
一般用于回归模型。
三.平方损失函数实际结果与观测结果之差的平方。
一般在线回归中。
四. log对数损失函数该损失函数运用了极大似然估计的思想。 p(y|x )基于当前模型指示对于样本x的预测值为y。 预测正确的概率需要乘法运算来同时满足概率之间，但将其设为log可以将乘法运算转换为加法运算。 log函数是增加函数，预测精度越高，p越大，取对数的话今后也会变大。
一般用于逻辑回归。
五.指数损失函数
常用于boosting和adaboost等集成学习算法。
六. Hinge函数
分类算法中的损耗函数，特别是在SVM中的使用较为普遍。
常用成本函数一、均方误差(Mean Squared Error，MSE ) ) )。
均方误差是指参数估计值与参数真值之差的平方期望值，一般用作回归问题的成本函数。
二、均方根误差(根均方误差，RMSE ) )。
均方根误差是均方误差的算术平方根，一般用作回归算法的性能指标。
三、平均绝对误差(均值绝对误差，MAE ) )。
平均误差是绝对误差的平均值，一般用作回归算法的性能指标。
四、交叉熵代价函数((Cross Entry ) ) ) ) ) ) ) ) ) )。
被用于估计当前训练中得到的概率分布与真实分布的差异，降低交叉熵损失是提高模型的预测精度。
其中，p(x )是真实分布的概率，q ) x )是模型根据数据计算出的概率估计，一般用作分类问题的成本函数。
本节总结了常用的损失函数和代价函数，阐明了损失函数、代价函数和目标函数的含义，今后算法将根据这些损失函数选择适合各算法的损失函数，提高模型的精度。
参考：
3359砖局域网. zhi Hu.com/p/58883095
3359 blog.csdn.net/ch Kay 399/article/details/81878157