常见的优化器有哪些？详细解析最常用优化器优缺点

前阵子折腾神经网络训练时，被优化器这玩意儿折腾得够呛。一开始啥也不懂，就跟着网上教程无脑用Adam，结果训练效果时好时坏，跟抽奖似的。气得我拍桌子骂娘，这才下决心把主流的优化器全拎出来挨个测试。

从最原始的SGD开始试水

撸起袖子先把最基本的随机梯度下降（SGD）拖出来跑。这玩意儿原理简单粗暴：盯着当前坡度直接往下滚。代码写起来也省事，三行搞定。可跑起来才发现问题——训练速度慢得像老牛拉破车，数据稍微复杂点就在坑坑洼洼的地方卡住不动弹。更邪门的是，学习率调小了挪不动步，调大了又像醉汉走直线到处乱窜。

给SGD装上发动机

受不了SGD的龟速，试了Momentum（动量法）。这招好比给老牛车装了台发动机——不仅考虑当前坡度，还攒着之前的下冲劲儿。跑起来果然顺滑不少，遇到小土坑能直接冲过去。但是！这货惯性太大也坏事：眼瞅着快到底了，它哐当一声冲过头，又在对面坡来回蹦跶，loss曲线抖得跟心电图似的。

自适应学习率的诱惑

听说Adagrad能自动调学习率，立马尝鲜。这哥们儿挺有意思：参数更新频繁的，就给小步子走；更新少的，就迈大步子。头几百步效果惊艳，可训练久了突然便秘——学习率缩水到近乎为零，参数直接躺平摆烂。查文档才明白，它把历史梯度平方全攒着，越攒分母越大，彻底走不动道儿。

缝缝补补的改进款

接着试了Adagrad的改良版RMSProp。这回聪明多了：只记最近一段路的坡度平方，旧的慢慢忘掉。拿个衰减系数控制记忆长度，总算解决半途罢工的问题。不过新坑又来了：遇到坡度陡变的地形时，步子还是容易迈劈叉，有几次差点把模型带沟里。

传说中的万能药Adam

请出网红Adam——把Momentum的惯性机制和RMSProp的自适应学习率焊在一起。刚跑起来时简直感动哭：收敛快又稳，学习率都不用咋调。可等我换了更难的数据集就露馅了：训练后期突然在局部最低点鬼打墙，测试集精度死活上不去。翻论文才知道，它攒的动量会跟自适应学习率打架，特别在复杂地形里容易翻车。

血泪总结出来的经验

吭哧吭哧测了半个月，得出几条朴实

• SGD：适合简单任务，速度慢但最稳当，记得开学习率衰减
• Momentum：给SGD加氮气加速，小心别冲过头
• Adagrad：稀疏数据好帮手，长期训练会嗝屁
• RMSProp：Adagrad的修修补补版，陡坡地形要当心
• Adam：新手快乐器，开局猛如虎，后期可能变瞎驴

现在我的策略是：先用Adam快速热身，等loss降不动了，立刻切SGD精细调优。上周拿这个套路训猫狗分类模型，比纯Adam涨了3个点精度。工具嘛别管黑猫白猫，能抓老鼠就是好猫！