在模型评估过程中,过拟合和欠拟合具体指什么现象?
过拟合是模型对训练数据进行过拟合时,反映在评价指标中。 也就是说,模型在训练集中表现良好,但在测试集和新数据中表现不佳。
拟合不足意味着模型在训练和预测中都行不通。 如果用模型数据上的偏差和方差指标表示的话。 在拟合不足的情况下,偏差和方差比较大;在拟合超过的情况下,偏差小但方差大。
如何减少过拟合和欠拟合
L1和L2正则先验分别遵循什么分布?
由于L1的分布,目标函数容易与有限的L1限制函数在“角”处相交。
这里的pw写为x---w
-------------请参阅
什么是数据不平衡,怎么解决?
数据不均衡主要是指在监控机器学习的任务中,样本标签值分布不均匀。 这使模型倾向于将结果预测为具有大量样本标签分布的值,从而降低了少数样本的预测性能。 大多数常用的机器学习算法对不平衡数据集不起作用。
解决方法:
1 .重新抽样训练集
a .欠采样减少丰富的类大小以平衡数据集
b .过采样通过增加稀有样本和使用重复来合成自举或少数类
2 .使用非均衡数据集设计模型
a .用成本函数惩罚稀有类别的错误分类。
什么是Duy :嵌入式? 能通俗易懂地告诉我吗? ”
- - - - - - - - - - - - - - -
例如,一种叫老虎的动物可以用vector (0,1,0,0,0 )表示,通过嵌入式)表示为0.23,0.12。 这种表示方法是通过训练数据训练出来的。