参考 以optim.SGD为例介绍pytorch优化器 - 云+社区 - 腾讯云

在神经网络优化器中，主要为了优化我们的神经网络，使神经网络在我们的训练过程中快起来，节省时间。在pytorch中提供了 torch.optim方法优化我们的神经网络，torch.optim 是实现各种优化算法的包。最常用的方法都已经支持，接口很常规，所以以后也可以很容易地集成更复杂的方法。

如何使用optimizer

要使用torch.optim，你必须构造一个optimizer对象，这个对象能保存当前的参数状态并且基于计算梯度进行更新。

构建一个优化器

要构造一个优化器，你必须给他一个包含参数（必须都是variable对象）进行优化，然后可以指定optimizer的参数选项，比如学习率，权重衰减。具体参考torch.optim文档。

optimizer = optim.SGD(model.parameters(),lr = 0.01, momentum = 0.9)
optimizer = optim.Adam([var1,var2],lr = 0.0001)

model.parameters()是获取model网络的参数，构建好神经网络后，网络的参数都保存在parameters()