当训练好一个神经网络模型时，首先看准确率如何，如果准确率很低即偏差很高，甚至无法拟合数据，则先检查训练集的性能，如果没问题，则需要选择一个新的网络模型（更大的网络或者训练更长的时间）重新训练。然后不断重复以上步骤，直到解决问题，起码直到可以拟合或者过拟合训练集。
当偏差处在可接受的范围内时，就需要验证方差有没有问题。为了评估方差，就需要看验证集的性能。如果方差高，则采用更多数据的训练集来训练。若没有更多数据，则可以使用正则化来减少过拟合（正则化通常有助于避免过度拟合）。
不断尝试以上的方法，直到找到低偏差、低方差的网络框架。
通常情况下，使用训练集来诊断算法是否存在偏差或方差问题。
一般情况下，只要能够扩大网络规模，除了例如可能图片人都分辨不出来，算法可能无法拟合该图片，但如果人可以分辨出来，而且分辨的误差不是很高，那么训练一个更大的网络，至少可以很好地拟合（或过拟合）训练集。
训练模型时遇到不合理的现象时，可以按照下面的步骤去排查：
检查数据和标签，这是刚开始调试模型时最可能出错的方向。
检查训练参数和模型参数的设置，看看是否有不合理的地方。
检查网络框架中的具体操作的使用是否有错误。
检查不同的细节操作对网络的输出的影响。