tracked author

Guangyu Chen

Attention Residuals 共同贡献作者。个人主页说明其在 Kimi / Moonshot AI 从事机器学习研究；个人主页、GitHub 与 X 账号形成相互链接，GitHub 还重点展示官方 Attention Residuals 项目。

1 archived notes X: high Homepage GitHub X

Related Notes

按论文归档时间排序，展示该作者在本站已经出现的材料。

归档 Aug 06, 2026

Attention Residuals

AttnRes 用输入相关的深度 softmax 聚合替代 PreNorm 的单位权重累积，并以块级表示和系统调度控制跨层状态成本；五个 194M–528M 激活参数 Kimi Linear MoE 设置均降低单次报告验证损失，48B/3B 的块级变体十五项下游数值十四升一平，但缺少随机种子、大规模 Full 对照和完整系统测量条件。

待审阅 2603.15031-attention-residuals Training Stability Training Memory Distributed Training