recurring author
Juncai Liu
2 archived notes
Related Notes
按论文归档时间排序，展示该作者在本站已经出现的材料。
归档 更新
MegaScale MoE: Large Scale Communication Efficient Training of Mixture of Experts Models in Production
围绕 attention SP、FFN EP、communication overlap 和 compressed communication 重构生产 MoE 训练路径。
待审阅 2505.11432-megascale-moe-communication-efficient-training MoE SystemsDistributed TrainingTraining Memory
归档 更新
DAPO: An Open Source LLM Reinforcement Learning System at Scale
在 Qwen2.5 32B 与 AIME 2024 设置中，用解耦裁剪、动态采样、token 级损失和超长奖励整形将朴素 GRPO 的 avg@32 从 30 提高到 50，并开源代码、数据与模型。