arXiv cs.AI / cs.LG 最新· Zhehang Du·· 1 天前AI 评分41
Polar Switch：基于多项式电路的快速 Muon 正交化方法
Polar Switch: Fast Muon Orthogonalization with Polynomial Circuits
AI 导读
Polar Switch 提出一种基于多项式电路的梯度正交化方法，达到同等高次多项式时 FLOP 成本低于五次迭代。在方矩阵上运行时间比 Polar Express 低 15.5–18.7%，在长宽比 3.25、3.5、8 的矩形矩阵上比 Gram Newton–Schulz 低 8.6–16.2%，精度相当。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
来源：arXiv cs.AI / cs.LG 最新 · arxiv.org
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。