简单的神经网络模型是:前向回馈神经网络(feed-forward), 其包括以下几层:
输入、多个层次的对输入的回馈以及最终的输出。
简单的神经网络的训练过程包括以下几个步骤:
定义一个包含多个可学习参数(权重)的神经网络;对输入的数据集进行迭代计算;通过多层网络结构来处理输入数据;计算损失值(输出值与目标值的差值);反向传播梯度到神经网络的参数中;根据更新规则来更新网络中的权重值。如下图所示:
https://pytorch.org/tutorials/beginner/blitz/neural_networks_tutorial.html