一、什么是优化器

用于优化模型的参数。当前向计算完成后，根据loss获得参数的梯度后，优化器就是如何利用梯度来更新和计算模型的网络参数，使得在后期计算中能够让模型的损失最小化。优化器通过不断更新模型参数来拟合训练数据，从而使得在新数据上表现良好。

优化器不计算梯度，它只是梯度的更新者，它决定了以什么样的形式更新参数。

二、优化器算法

1、梯度下降法

https://zhuanlan.zhihu.com/p/687987540

标签: none

仅有一条评论

  1. dzpccpuvvx dzpccpuvvx

    怎么收藏这篇文章？

    回复

添加新评论