正如前面提到的，pytorch、tensorflow等主要框架内置了许多已经广泛使用的优化算法，如SGD、Adam、Adagrad等，但为了使模型收敛于最优解而进行了优化或者我们对SGD系列算法展开研究，发现其中的问题，提出更好的优化器，如何将他封装在pytorch或tensorflow中呢？ 让它很容易使用。
本文简要介绍了pytorch过载优化器。 接下来的几篇文章还将介绍如何自己编写cuda，以及如何自己定制backward_helper。 也就是说，如何自己寻求指引？ 不需要自动微分吗？感兴趣的同学可以持续关注！
要在正文中重载优化器，必须首先了解它在pytorch框架中的工作方式。 一般来说，训练模型时使用以下代码。
optimizer=my optimizer (my _ model.parameters )，lr=0.001