tracked author
Haibin Lin
ByteDance Seed LLM systems researcher; homepage and GitHub both connect Haibin Lin to VERL and the eric_haibin_lin X handle. Recurs across HybridFlow, DAPO, MegaScale, MegaScale-MoE, and Laminar system lines.
Related Notes
按论文归档时间排序，展示该作者在本站已经出现的材料。
Laminar: A Scalable Asynchronous RL Post Training Framework
Laminar 让完成 trajectory 独立进入 experience buffer，再用 CPU/RDMA relay 允许各 rollout 在本地生成 batch 结束或被 repack 释放后独立拉取新权重，并把同 weight version 的尾部请求集中到少数 rollout；1024 张 H800 实验支持这套设计能提高短窗口 actor update throughput，训练时实际 policy lag、GR...
MegaScale MoE: Large Scale Communication Efficient Training of Mixture of Experts Models in Production
MegaScale MoE 的核心贡献是把大规模 MoE 训练的瓶颈从单点 kernel 优化提升到整层通信路径设计：attention 侧用 Ulysses style sequence parallelism 降低 TP critical path 通信，FFN 侧用 intra node expert parallelism 保持专家 GEMM 效率，再用跨算子调度、算子内 tile level overlap、选择性 acti...
DAPO: An Open Source LLM Reinforcement Learning System at Scale
DAPO 的核心贡献是一套可复现的 long CoT reasoning RL recipe：在 Qwen2.5 32B base 上，用基于 verl 的 GRPO 变体、规则奖励、DAPO Math 17K 数据、Clip Higher、Dynamic Sampling、Token level Policy Gradient Loss 和 Overlong Reward Shaping，将 AIME 2024 avg@32 提升到...
HybridFlow: A Flexible and Efficient RLHF Framework
HybridFlow 的核心贡献是把 RLHF 训练看成由多个大模型节点组成的复杂 dataflow，并提出一个混合控制架构：模型之间用 single controller 统一编排和数据重分片，模型内部用 multi controller 执行高效分布式训练/推理/生成；再配合 3D HybridEngine 和自动设备映射，在 PPO、ReMax、Safe RLHF 等 RLHF 算法上比 DeepSpeed Chat、OpenR...