Keller Jordan

Muon: An optimizer for hidden layers in neural networks

Muon 的核心技术含量在于把隐藏层矩阵参数的 momentum update 映射到近似半正交方向：它用低精度 Newton Schulz 近似 polar factor，让更新能量更均匀地覆盖矩阵奇异方向；后续大模型实践表明，Muon 想稳定扩展到 LLM pretraining，还需要 weight decay、shape aware update scale、AdamW/Muon 参数分组、分布式 full matrix or...