1、有监督：用有标签的数据训练
2、无监督：无标签数据训练；
3、半监督：用数据分布上的模型假设构建学习器，对无标签样本进行标签。 通常是两个阶段的训练，首先用(小规模的)标记数据训练Teacher模型，在该模型中对(大规模的)未标记数据预测疑似标记，作为Student模型的训练数据。
4、自我监控：无标记数据训练，多种方法让模型学习数据的inner representation，连接下游任务，如添加mlp作为分类器等。 但是，在接受下游任务后，也需要对特定的标记数据进行finetune。 但是，您可能可以选择完全固定前一层，只对后续网络中的参数执行finetune。 自我监视数据监视源于数据本身，例如以谜题方式构建。
5、弱监督：用含噪声的有标签数据训练。