arXiv cs.AI / cs.LG 最新· Tetiana Parshakova·· 3 天前AI 评分60
论文从统计视角解释 Adam、Shampoo 与 Muon，并提出 MN 与 MN-Muon 优化器
A Statistical Viewpoint on Adam, Shampoo and Muon
AI 导读
arXiv 论文提出用梯度协方差白化的统计框架，统一解释 Adam、Shampoo 与 Muon 并据此设计优化器。对角近似得到与 Adam 高度接近的方法，Kronecker 近似得到 Shampoo 变体 MN，把同一框架用于梯度方向再白化则得到预条件版 Muon。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
来源：arXiv cs.AI / cs.LG 最新 · arxiv.org
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。