首页 > 资讯 > 面向多智能体应用的大模型推理调度与缓存优化|AICon北京

面向多智能体应用的大模型推理调度与缓存优化|AICon北京

InfoQ 2026-11-17 19:09 14 阅读 查看原文

当 Agent 真正进入企业流程,哪些工作可以交给 AI ?50 + 实战案例揭晓答案!

AI 正在从回答问题的辅助工具,走向理解目标、调用系统、完成任务的工作承担者。当 Agent 真正进入企业流程,问题不再是 “如何把 AI 做出来”,而是哪些工作可以交给 AI、结果如何验收、权限、成本与风险如何收住。随着大模型向推理、工具调用、多模态和长任务延伸,开发重心正从单次调用转向上下文、工具、执行环境与反馈回路的设计,Coding Agent 也从代码补全演进为能理解代码库、运行测试、完成复杂任务的工程协作者。OpenAI、Google Cloud、Anthropic 的最新实践共同指向一个结论:模型决定 Agent 能做什么,工程决定它能否真正进入生产、创造价值。

在这一背景下,2026 年 AICon 人工智能开发与应用大会 · 北京站将于 12 月 18–19 日,在北京新云南皇冠假日酒店举办。本届大会以探索 A 应用边界为主题,设置 13 大技术专题,覆盖大模型后训练、推理优化、Agent 工程、知识工程、智能体评测与安全、自进化系统、AI 软件交付、原生架构及组织变革等核心方向,汇聚一线技术专家,深入分享 AI 技术突破与企业规模化落地的真实实践。

北京大学助理教授卓有为已确认出席 “大模型推理与算力调度实践” 专题,并发表题为《面向多智能体应用的大模型推理调度与缓存优化》的主题分享。多智能体应用具有执行依赖复杂、工具调用频繁和上下文交互密集等特点,大模型推理系统虽具备批处理与缓存复用能力,但仍面临关键任务资源竞争、工具等待期间显存闲置以及跨智能体缓存冗余等问题。本报告介绍面向上述问题开展的两项工作。TokenCake 通过感知智能体依赖与运行状态,结合动态显存分区、主动缓存卸载与预测式回迁,协同优化任务调度和缓存管理,减少关键路径阻塞与上下文重计算。TokenDance 进一步面向轮次化协作中的共享上下文,结合集合式缓存复用、差分存储与融合恢复,减少跨智能体的重复计算和存储开销。实验表明,相关方法可显著降低多智能体应用的端到端时延,提升资源利用效率与有限显存下的并发服务能力。

卓有为,北京大学集成电路学院助理教授,博士生导师。入选国家高层次青年人才计划,主持国家重点研发计划青年科学家项目。主要研究集成电路与计算机科学的交叉领域,特别是基于先进器件和集成工艺的计算机体系结构和设计自动化。本科毕业于清华大学计算机系。博士毕业于南加州大学计算机系,师从钱学海教授。

他在本次会议的详细演讲内容如下:

演讲提纲

  1. 应用背景:多智能体协作带来的推理系统挑战

    以协作式代码生成、深度研究和社会模拟为例,介绍任务分解、工具调用、结果汇聚与多轮交互等典型执行过程

    分析应用性能的主要影响因素:任务依赖决定可执行顺序,工具耗时影响资源空闲窗口,上下文增长增加计算与存储压力

    建立应用级性能视角:从单次模型调用速度,扩展到任务完成时间、轮次时延和满足服务目标的并发规模

  2. 瓶颈分析:围绕 KV Cache 理解资源低效的根源

    时间维度:智能体等待外部工具时,缓存仍占用显存;直接丢弃又会增加后续重计算开销

    空间维度:多个智能体竞争显存,非关键任务可能挤占关键路径任务的缓存空间

    共享维度:多个智能体接收相同内容,但私有历史与内容位置不同,限制了常规前缀缓存的复用

    分析方法:结合执行时间线、依赖图与缓存生命周期,定位等待、抢占、重计算和重复存储的来源

  3. TokenCake:智能体感知的调度与显存管理

    应用信息表达:将智能体依赖关系、工具调用事件与运行状态传递给推理系统

    空间调度:结合图结构与运行状态确定优先级,通过动态显存分区保障关键任务推进

    时间调度:利用工具调用窗口主动卸载闲置缓存,并通过预测式回迁降低恢复执行时的传输等待

    协同机制:分析任务优先级、显存压力与迁移成本之间的关系,说明调度与缓存管理如何共同影响端到端性能

  4. TokenDance:轮次级缓存共享与差分存储

    协作模式:解析“各智能体生成结果—集中汇聚—分发共享上下文”的 All-Gather 交互过程

    集合式复用:保留提示词的逻辑块结构,对兼容请求成组处理,摊薄重复的缓存复用开销

    差分存储:通过共享主副本与智能体私有差分,减少相似缓存的重复保存

    融合恢复:将差分恢复融入缓存传输过程,降低额外的数据搬运开销

    适用边界:讨论共享上下文比例、请求兼容性与输出质量对优化收益的影响

  5. 工程实践与案例评估

    接入路径:介绍应用编排层、推理调度器和缓存管理模块之间需要交换的信息,以及与现有推理引擎的集成思路

    案例分析:围绕代码生成与深度研究讨论关键路径优化,围绕 GenerativeAgents 和 AgentSociety 讨论多轮共享与并发扩展

    评估方法:同时观察端到端时延、尾延迟、缓存占用、迁移开销、并发容量和任务质量,避免单一指标掩盖系统代价

    工程取舍:讨论工具时延波动、缓存共享程度变化与负载增长时,如何选择策略、设置回退路径并验证收益

  6. 方法论总结:从应用协作结构出发优化推理系统

    将依赖关系、工具等待和上下文共享转化为底层可利用的信息

    联合考虑任务调度、缓存生命周期与数据表示,识别不同优化之间的配合关系

    建立“工作负载分析—瓶颈定位—机制设计—端到端验证”的优化流程

听众收益

  • 建立系统诊断能力: 理解多智能体应用中依赖阻塞、工具等待和缓存冗余的作用机制,能够判断性能问题应在哪一层解决

  • 掌握架构优化思路: 理解关键路径调度、缓存卸载与回迁、跨智能体共享等机制的适用条件,为推理平台设计与技术选型提供依据

  • 形成容量与成本评估方法: 学会结合时延目标、显存预算、并发规模与任务质量评估优化方案,支持上线前的容量规划和投入决策

演讲亮点

  • 以两项系统工作展示如何将多智能体协作特征转化为可量化的性能收益:TokenCake 在论文的显存受限配置下,相比 vLLM 将端到端时延最多降低 47.06%;TokenDance 在所评估工作负载及相同服务时延约束下,将可支持的并发智能体数量提升至启用前缀缓存的 vLLM 的最高 2.7 倍。听众可以看到从瓶颈分析、机制设计到实验验证的完整过程

除此之外,本次大会还策划了Post-Training Engineering|数据、奖励与模型能力塑造、大模型推理与算力调度实践、Knowledge Engineering|让 Agent 理解企业、Multi-Agent Systems、智能体评测与生产可靠性探索、Agent Security|身份、权限与行动安全、AgentOps|企业 Agent 全生命周期管理、Self-Evolving Agents|从经验学习到可控进化、Agentic Software Engineering|从代码生成到软件交付、Personal Agent、AI 原生架构的演进与治理、AI 时代的组织重构、AI × Industries |产业智能化等 13 个专题论坛,届时将有来自不同行业、不同领域、不同企业的资深专家在现场带来前沿技术洞察和一线实践经验。

9 折优惠限时开启,现在报名立减 580,查看更多详情可扫码或联系票务经理 13269078023 进行咨询。