Xinyu Yang

ThunderAgent: A Simple, Fast and Program Aware Agentic Inference System

ThunderAgent 把跨多轮 LLM 调用与工具等待建模为带 phase、status、KV footprint、backend placement 和 tool dependency 的 LLM Program，使 scheduler 能按 Reasoning / Acting 状态控制 KV working set，并在释放 KV 后通过全局队列重新选择恢复节点；论文在所测高并发 tool use serving 与 rol...