QCon 2026 专题前瞻：贯通数据工程、集群调度与推理闭环，为什么算力效率决定了规模化落地的生死线。
10 月 22-24 日，QCon 全球软件开发大会将在上海举办，其中策划了专场《AI Infra：算力效率决定规模化落地》，更多详情可查看：https://qcon.infoq.cn/2026/shanghai/track/1969
引言：智能规模化背后的成本转移与效率命题
过去几个月里，AI 领域的技术更迭日新月异，喧嚣声不绝于耳。从主流模型路由平台上万亿级 Token 吞吐的陡峭曲线，到 AI 原生应用以历史性速度渗透进千行百业，这场变革所展现的广度与深度前所未有。这迫使我们思考，究竟是什么决定了一项通用技术向全社会扩散的速度与边界？回顾历史发展进程，我们可以清晰看到，推动每一次生产力跃迁的核心变量，正是关键生产要素的供给边际成本。工业革命规模化的是动力，能源网络与电力成本决定了电气化的渗透半径。互联网规模化的是连接与信息，由于信息复制与分发的边际成本趋近于零，过去二十年的分布式计算与云原生体系，得以建立在“无状态、低成本水平复制、即时按需伸缩”的前提之上。然而，这一轮变革规模化的是智能本身。每一次模型推理都在消耗真实的张量算力与显存带宽，每一次任务交付都伴随着实打实的硬件成本。算法、系统与数据能力的深度协同，正在成为驱动算力效率提升的核心杠杆。而正是算力效率，最终决定了这场智能化变革能否真正跨越技术鸿沟，走向全社会的规模化落地。
进入 2026 年，虽然万卡规模的预训练投入依旧高昂，但在业务落地与日常运行中，成本重心正在加速向推理端倾斜。这一转变的背后，是单任务推理载荷在多个维度上的同步膨胀：模型总参数量在 Scaling Law 驱动下持续扩张，混合专家架构（MoE）虽有效控制了单步激活参数，却将动态路由与跨节点通信推向了在线推理的关键路径。长上下文能力成倍拉升了单会话的显存驻留。具备长链思考能力的推理模型通过生成数千乃至上万个推理 Token 来换取更精确的解答，智能体系统更将单轮问答演进为多步工具调用与子任务并发的复杂程序。与此同时，定价逻辑也在转变：尽管同等能力的单 Token 标价持续下探，但单任务的 Token 消耗量却以更高阶的倍率激增，实际交付成本不降反升。业界由此形成了以任务成本划定生存门槛的“斩杀线”格局，竞争的核心指标已不再是静态的单 Token 标价，而是完成一项端到端任务的有效交付成本。
从第一性原理出发，我们认为，算力效率是破解这一成本困局的最佳工程杠杆。完成一项任务的实际支出，受制于硬件折旧与运营开销、模型推理所需的理论计算量，以及系统最终能够交付的算力效率。在芯片工艺与模型算法确定的前提下，系统工程能够撬动的最大变量正是后者。它集中体现为两大诉求：一是减少无效等待，消除跨卡通信阻塞与流水线气泡，降低冷启动与排队开销，二是提升计算有效性，最大化 KV cache 的跨请求复用，优化解码吞吐。更为关键的是，随着强化学习后训练成为主流，样本生成、价值验证与策略更新构成了高频运转的闭环。此时算力效率不仅决定着线上服务的运行账单，更直接制约着模型自身能力的迭代周期。
这一逻辑与分布式系统数十年的发展历程高度一致，从单机到集群，从离线批处理到实时在线服务，每一次规模跃迁都迫使我们回到原点，重新求解资源分配、状态维护与节点协同这三大永恒命题。理解并突破算力效率的物理边界，核心不在于追逐层出不穷的上层封装，而在于看清经典分布式系统的底层假定是如何被现实物理约束所改写的。
AI Infra：模型与智能体的全生命周期运行底座
纵观现代计算基础设施的演进历程，技术体系的重心始终与所承载的工作负载形态紧密相连。应用基础设施承载业务逻辑与服务交互，以 CPU 为核心计算单元，其经典抽象沉淀在进程、线程与关系型事务中。数据基础设施支撑海量数据的清洗与分析，以存储与 I/O 吞吐为核心，体现在表与数据流、批流计算任务以及数据血缘之中。而在大模型时代，AI Infra（人工智能基础设施）的根本定位，是将模型与智能体视作一等公民，在分布式计算与存储的通用底座之上，围绕新一代 AI 工作负载，构建起覆盖数据工程、分布式训练、离线与在线评测、弹性部署、高性能推理，以及生产运维监控与持续演进的全生命周期软硬件体系。
传统云原生架构之所以能够建立起简洁的分层接口，是因为业务逻辑对物理资源的消耗相对有界，系统底层只需度量 CPU 配额与内存容量，即可在不感知应用语义的前提下完成统一调度。然而在大模型与智能体系统中，这种黑盒分层彻底失效。计算载荷对物理资源的消耗，是由模型架构特性与动态输入共同决定的非线性过程：混合专家的动态路由、注意力机制的计算模式、数值精度，以及上下文随交互的膨胀，直接决定了显存驻留、通信频次与硬件执行效率。模型算法与系统架构的协同设计（Co-design），由此成为 AI Infra 最本质的技术特征。
在实际工程落地中，这种协同需求直接映射为三类最具代表性的系统瓶颈：
• 算力损耗：大模型计算本身是极高密度的矩阵乘加，单层算子运算往往在亚毫秒内即可完成，但跨节点、跨机柜的张量通信与参数同步受制于物理网络延迟。这种计算极快而通信相对缓慢的算网失配，导致大量同步等待，叠加流水线气泡与单点硬件故障引发的全局回滚，损耗了集群相当比例的有效算力。
• 显存浪费：面对长上下文与瞬时高并发，显存容量构成了直接的物理上限。显存不可弹性超卖的物理特性，与低延迟服务所依赖的内存预分配机制相互制约，极易产生显存碎片，限制了批处理吞吐。
• 数据失配：相较于 GPU 算力的快速跃升，AI 数据工程（涵盖多模态清洗、大规模随机采样与动态上下文供给）的发展相对滞后，导致计算单元经常因 I/O 供给断流而陷入等待。
这三类瓶颈不仅是系统工程优化的核心切入点，更体现出经典分布式系统的设计逻辑在面对 AI 负载时所遭遇的现实约束。
经典分布式命题在 AI 时代的物理重塑
分布式系统的理论体系起源于 Lamport 在 1978 年对逻辑时钟与事件偏序关系的奠基性研究。此后近半个世纪，从 FLP 不可能性定理到 Paxos 等共识协议的成熟，分布式系统确立了其始终如一的核心课题：在不可靠的计算节点与网络之上，如何分配物理资源，如何维护一致状态，以及如何协调大规模并发参与者的协同工作。
随后的互联网浪潮推动了这一课题的大规模工程落地。GFS 与 MapReduce 奠定了基于廉价商用节点构建高可用系统的工程范式。Dynamo 确立了一致性与可用性权衡的设计标准。从 Borg 到 Kubernetes 的集群编排体系，在数万节点规模下验证了资源共享与多租户隔离的工程价值。而在人工智能系统的发展历程中，从利用分布式键值系统管理模型权重的 Parameter Server，到基于矩阵多维切分与集合通信优化的 Megatron-LM，再到借鉴虚拟内存分页机制治理显存碎片的 PagedAttention，工程师们始终在把经典分布式系统的设计与优化哲学，迁移到特定计算负载的工程实践之中。
回顾这段技术演进，我们可以清晰地看到：分布式系统的核心命题历久弥新，真正改变的是支撑其运转的物理环境与工程假设。 过去十余年面向 Web 微服务、大数据离线分析与实时流计算所积累的成熟经验，建立在一套被广泛认可的设计前提之上。而在面对大模型与智能体负载时，这些经典前提遭遇了全新的物理约束：
显存容量对弹性调度的制约、重算开销对状态复用的要求、算网失配对并发协同的挑战，以及模型质量与系统成本的综合权衡，正是这四大核心命题所面临的工程现实，界定了新一代计算系统的效率边界。下文我们将深入这些具体场景，探讨系统架构究竟该如何破局。
异构算力的调度重构：从时间切分走向空间与拓扑的联合求解
在通用操作系统的演进史上，CPU 调度体系之所以能够建立起简洁通用的抽象，依托的是三项相互协同的基础机制：基于时间片轮转的分时复用、利用外存置换空间的虚拟内存超卖，以及微秒级的确定性任务抢占。它们共同赋予了上层调度器极高的调度自由度。然而在 GPU 等专用算力芯片上，这三项前提面临着完全不同的物理现实。
1. 显存容量瓶颈与多维不可超卖的调度约束
在通用 CPU 的调度中，调度器只需分配核心数与内存配额，即可满足大多数应用。但在 GPU 上，高带宽显存（HBM）与主机内存之间存在跨总线的带宽鸿沟，不存在能够透明换页且维持高性能的低成本扩展层。一旦显存耗尽，系统直接触发 OOM 崩溃，基于超卖与按需驱逐的容量模型在此完全失效，只要显存触顶，任务便无法再接纳新的请求批次。面对显存的不可弹性化，业界主要依靠算法与系统架构的协同来缓解压力，包括多头潜在注意力（MLA）、群组查询注意力（GQA）与低比特量化在算法层对状态体积的压缩，PagedAttention 在系统层对显存碎片的治理，以及推理引擎中基于 Token 预算的动态批处理。显存不可超卖的现实，要求我们在调度与准入阶段就必须建立起明确的容量边界。
2. 实例弹性伸缩中的冷启动开销与硬件释放延迟
在通用微服务环境中，实例扩容通常只需拉起一个轻量容器镜像，耗时在秒级。而在大模型服务中，扩容一个新实例需要将数十至数百 GB 的权重数据通过网络加载至显存，伴随而来的还有框架层的图加载、显存预分配与预热开销。扩容不再只是控制面指令，而是高开销的数据搬运与计算准备过程。在释放路径上，执行队列中滞留的在途算子与通信事务，也使框架视角的“任务结束”与硬件视角的“资源可用”之间存在时间差，调度系统若缺乏对硬件执行状态的确认，盲目分派新任务极易引发显存冲突。BlitzScale 等方案通过节点间组播加载来削减冷启动时延，正是针对前一问题的代表性探索。
3. 缺乏细粒度硬件抢占带来的调度延迟
操作系统抢占一个 CPU 线程只需保存有限的寄存器上下文。而在高度并行的 GPU 上，一个正在执行的算子涉及成千上万个线程的活跃寄存器、共享内存以及流水线在途状态。尽管部分芯片支持微架构级抢占，但为避免保存和恢复庞大执行状态的高昂开销，生产软件栈中调度的最小单位依然停留在完整的算子边界。这意味着高优先级任务即便到达，也必须等待设备队列中已下发的算子执行完毕。从 Orca 提出的迭代级调度，到线程块细粒度切分与统一抢占队列的探索，本质上都是软件层对硬件缺乏高效抢占机制的补偿。
4. 组调度下的拓扑碎片与资源排队
大模型分布式训练作业通常需要数百至上万张 GPU 同时就绪，才能推进每一步的梯度同步，这种组调度约束与传统离散的单任务调度存在本质区别。在严格的物理互连要求下（如单机内部必须使用 NVLink，同一训练单元必须处于同一交换域内），零星空闲的 GPU 非但无法拼接使用，反而会割裂高带宽通信域，形成集群拓扑碎片。调度若采取严格的资源预留，大作业在等待凑齐期间会导致大量节点闲置，若允许小任务穿插占用空闲资源，又会推迟大作业的启动。系统必须基于拓扑感知与作业排期预估，在队列等待与集群吞吐之间寻求权衡。当集群进一步混部不同代际或架构的 AI 芯片时，问题更为复杂。同步训练中慢节点会拖住全局屏障，调度器必须将模型的并行切分策略与具体拓扑的带宽矩阵协同求解，而不能再把算力抽象为一个可简单累加的数值。
5. 强化学习后训练中推理与训练的时分复用与显存争用
随着强化学习后训练的广泛应用，调度面临着一种全新的混合负载形态。在同一个训练周期内，系统需要在生成采样（Rollout，高并发推理，显存主要被 KV cache 占用）与参数更新（Training，高吞吐训练，显存主要被优化器状态与梯度占用）之间高频交替。物理分池部署会带来跨集群权重同步与阶段性算力闲置的高昂代价。单集群时分复用则使每次阶段切换都伴随显存状态的换入换出与运行时重初始化。更复杂的是，Rollout 阶段各样本生成长度极不均匀，会引发严重的执行长尾。RollPacker 等方案通过长尾归并与阶段重叠调度显著缓解了这一闲置，表明在后训练体系下，调度系统唯有统筹模型工作流的阶段切分与显存状态驻留，才能真正化解这一争用。
状态管理与数据复用：显存与存储层级的深度协同
在经典的系统存储架构中，缓存被视作一种提升性能但可随时淘汰的辅助结构，背后总有持久化的数据源托底。Spark 之所以敢于在内存吃紧时直接丢弃中间 RDD，是因为其血缘重算的成本远低于维护持久化副本。然而在大模型系统中，KV cache 的特征给这一工程假设带来了全新挑战。
1. KV Cache 的高昂重算开销与复用机制
KV cache 是模型逐 Token 注意力计算累积出的中间激活值。它在逻辑上属于派生状态，但在工程中绝不可轻易丢弃，一旦缓存被换出，下一次访问就必须将整个输入前缀重新送入模型，其重建开销在计算量上等同于一次完整的 Prefill。
因此，基于访问频次的传统替换算法（如 LRU、LFU）在 KV 管理中不再适用。丢弃数万 Token 的长上下文与丢弃几十 Token 的短上下文，未命中的重算开销相差数个数量级。系统必须综合权衡前缀重算成本与复用命中率，转向算力收益驱动的动态复用。SGLang 借助前缀树实现 RadixAttention，Mooncake 则以池化的内存与固态存储置换计算，本质上都是用空间换取算力的有效复用。
2. 算网瓶颈下的 Prefill 与 Decode 解耦
大模型推理在执行流程上明确包含两个阶段：输入阶段（Prefill）全量处理上下文，计算密度与并行度极高，属于典型的计算密集型任务。逐字生成阶段（Decode）自回归解码，计算单元大部分时间在等待显存数据读取，属于典型的访存密集型任务。将二者在物理节点上拆分部署（PD 分离），在架构设计上极具吸引力，但其能否真正提升系统吞吐，关键取决于节点间数据迁移的网络带宽。
Prefill 节点生成的数 GB 级 KV cache 需要通过网络实时同步至 Decode 节点。在具备 400Gbps 以上 RDMA 网络的集群中，搬迁延迟低于本地重算延迟，PD 分离能够充分释放批处理吞吐红利。但在普通以太网环境下，跨节点搬运 KV 的时延会迅速抵消解耦带来的全部增益。因此，PD 分离并非普遍适用的银弹，而是高度依赖集群网络互连带宽的工程权衡。
3. 多层级状态的生命周期与分类管理
在大规模模型运行体系中，系统需要同时面对四类生命周期与可靠性要求各异的状态：
• 静态模型权重：只读且可重复加载，失效后可从远程存储恢复。
• 优化器与梯度状态：训练过程中的易失性高价值资产，决定故障恢复的精确步进。
• KV Cache：会话级的派生状态，重建代价高昂，直接制约在线响应延迟。
• 智能体记忆与上下文：应用语义层的业务事实，一旦丢失即导致交互状态不一致。
用同一套存储策略处理这四类状态，必然导致资源浪费或数据丢失。合理的设计应当依据重建代价与一致性要求划定所有权边界，让每类状态运行在匹配其特性的存储介质与生命周期策略之上。
4. 分布式训练中检查点保存与异步卸载
在万卡协同训练中，单卡硬件故障是高频发生的工程常态。传统检查点机制要求周期性暂停整个流水线，将显存中数百 GB 的模型与优化器状态同步写入分布式存储，严重侵蚀有效训练时间。工业界的主流解法是分层异步卸载：先将显存快照高速卸载至主机内存或本地 NVMe，再由后台线程异步同步至持久化存储，以此压缩训练停顿。Checkmate 等前沿研究更进一步，利用数据并行中本就在网络中流动的同步梯度，在旁路节点上异步构建模型副本，将容错开销从训练关键路径中剥离。
5. 上下文截断对前缀缓存的隐性破坏
在大模型系统中，缓存命中不仅取决于存储引擎本身，还高度受制于上层应用的提示词管理逻辑。KV cache 的复用键本质上是输入 Token 序列的前缀哈希。许多上层应用为了控制上下文长度，会采取滑动窗口截断前文或生成历史对话摘要的做法，这会直接改变后续 Token 序列的前缀哈希，瞬间导致此前缓存的数十 GB 前缀状态全部失效。底层缓存利用率由此高度依赖上层框架的上下文处理逻辑，模型算法与底层系统之间唯有打通语义元数据，才能避免此类隐性的算力浪费。
6. 训练数据供给与算力消耗的速率匹配
与推理侧的状态复用相对应，训练侧同样存在一条容易被忽视的数据路径。样本在抵达显存之前，要经历分布式存储读取、多模态解码、分词、随机打散与批次组装等一连串 CPU 与 I/O 密集的处理，一旦这条管线的吞吐跟不上算力的消耗速率，GPU 便会周期性陷入等待。训练数据系统的核心命题，是让数据供给速率与计算消耗速率在整个训练周期内保持匹配，这同样是一个典型的体系结构量化问题。
分布式协同与故障传播：从概率容错到算网失配的工程挑战
传统微服务的容错设计基于独立的单点故障假设，故障属于孤立事件，影响局限在特定副本内，通过重试、熔断与冗余部署即可保障高可用。当这一思路面对大模型跨节点的多维并行计算时，遭遇了全新的瓶颈。
1. 算网失配与慢节点的级联放大
在大模型分布式计算中，单层矩阵运算往往在亚毫秒内完成，而跨节点集合通信需要数毫秒，系统大部分时间处于同步等待之中。此时，“慢节点”比直接宕机的节点更难处理。某个节点若因散热降频、偶发丢包或资源争用出现轻微延迟，这一波动会顺着流水线并行与张量切分的依赖链级联放大，将整个作业拖入漫长的气泡等待。在超大规模集群中，可观测体系必须从单机指标采集转向全链路的通信拓扑与执行图分析（FLARE 等面向千卡级训练的异常诊断系统正是这一方向的代表），才能定位究竟是哪一条通信链路或算子阻塞拖慢了全局进度。
2. 缺乏确定性校验的静默错误
传统系统依靠校验和与确定性断言即可排查数据错误，但在深度学习训练中，浮点张量的微小波动与正常数值噪声混杂在一起。单卡的比特翻转或算子的静默计算偏差不会导致进程崩溃，而是化作微弱扰动渗入模型权重，历经成百上千步后才突然引发 Loss 异常毛刺（Loss Spike）甚至训练发散，此时回滚排查的时间与算力代价都极为高昂。因此，建立跨副本梯度散度监控与阶段性数值校验机制，在静默错误扩散至全局前实现早期拦截，已成为保障大规模作业连续运行的关键手段。
3. 集合通信与物理拓扑的协同优化
在离线批处理中，数据 Shuffle 的延迟只会顺延后续任务，并不反向阻塞当前计算。但在大模型训练的 AllReduce 以及 MoE 架构中用于专家分发的 All-to-All 集合通信中，通信开销直接位于前向与反向传播的关键路径之上。通信性能不仅取决于网卡带宽，更取决于其在数据中心交换拓扑中的映射位置，业界因此广泛利用生成树优化与约束求解器自动生成通信调度方案，使网络拓扑与算子的并行执行紧密协同。
4. 智能体运行时的任务编排与状态一致性
在面向智能体的应用场景下，推理引擎承载的工作负载正在发生转变。上层提交给系统的不再只是彼此孤立的单次请求，而是一棵包含分支决策、工具交互与多步验证的动态任务图。这种在运行时动态展开的调用链，极易引发服务调度层面的队头阻塞。前沿实践开始将程序上下文作为一等调度实体，依据前置步骤的输出推测后续走向，随生成进度动态分配计算带宽。同时，当智能体被赋予调用外部 API 或修改持久化数据的权限时，重新调用模型生成通常是安全的，但触发外部交互则存在不可逆的副作用。幂等键、事务日志与补偿机制等经典分布式护栏，在智能体运行时中依然不可或缺。
系统目标函数的演进：质量权衡与在线反馈迭代
前述三项命题反映了经典分布式系统在面对专用硬件与大模型负载时的工程延伸，而系统优化目标本身的转变，则标志着系统工程迈入了一个前所未有的深水区：优化目标本身，不再是外部预先给定的静态常量，而是与模型输出质量以及后续训练迭代深度绑定的动态变量。
1. 质量进入算力效率与综合成本考量
在传统基础设施中，系统的目标函数清晰而纯粹：在确保计算逻辑确定性正确的前提下，最大化吞吐、降低延迟，并通过资源虚拟化、多租户超分与并发调度实现成本优化。计算结果离散确定，工程优化可以在脱离业务语义的前提下独立推进。然而，大语言模型的输出天然表现为连续的概率分布，底层的诸多系统优化策略都在直接影响上层模型的输出质量：
• 显存空间紧缩时，将 KV cache 压缩或逐层量化至 FP8/INT4，换取了更大的并发容量，但可能抬高模型推理的困惑度。
• 为降低长文本时延而采用的滑动窗口或稀疏注意力，换取了高吞吐，却可能在关键上下文检索上引入幻觉。
• 动态模型路由在廉价小模型与昂贵前沿模型间的分流，直接决定了用户满意度的概率分布。
这促使基础设施的工程方法论发生根本转变。在系统优化中，我们必须清晰划分“保语义优化”（如无损 KV 复用、算子融合与通信重叠，直接衡量吞吐增益）与“改语义优化”（如低比特量化、上下文剪枝与动态路由，必须受制于质量评价）的边界。脱离质量约束单纯追求 Token 吞吐往往失去实际意义，系统的真实度量基准，是在保障任务准确率与成功率的前提下，完成端到端任务的实际交付成本。
2. 算力效率进入核心能力的生产链路
在以强化学习后训练为主导的演化路径中，推理系统的采样吞吐不再仅是面向线上请求的服务指标，更直接决定了模型与智能体能力的迭代速率。在人类偏好对齐与可验证奖励强化学习（RLVR）的后训练中，模型通过持续采样探索高价值解空间，系统在单位时间内能够稳定交付的采样（Rollout）吞吐，直接划定了算法探索的广度与奖励信号的获取效率。推理吞吐每提升一倍，系统便能在同等研发周期内为策略更新提供成倍的样本。系统工程的吞吐效率，已成为模型能力演化周期的关键制约项。
然而，这种吞吐红利并非线性堆叠。如果异步通信引入了过大的策略滞后（Policy Staleness），或采样过程缺乏足够的多样性，新增算力就会陷入低效空转。系统工程必须与算法探索在通信延迟、批处理规模与样本新鲜度之间共同寻找平衡点。
3. 递归自我改进对运行时治理体系的要求
当模型开始自主生成合成数据，并实质性参与算子优化甚至自身基础设施代码的编写时，递归自我改进的原型系统开始显现，传统软件工程中“开发期”与“运行期”的边界随之模糊。这一闭环对分布式系统的治理提出了三项要求：一是全链路版本谱系，使每次自动化更新所依赖的样本、评测逻辑与环境配置可溯源；二是沙箱隔离验证，防止模型自身输出未经筛选反向污染后续训练；三是快速回滚，在演进偏离预期时即时恢复至稳定快照。基础设施的定位，是确保每一次能力提升都处于可追踪、可验证、可止损的工程轨道之内。
体系结构量化分析与分布式系统方法论的回归
当我们系统审视贯穿 AI Infra 核心架构的技术演进时，可以清晰地看到两条一脉相承的方法论主线。一是计算机体系结构的量化分析方法，无论是显存带宽约束下的注意力机制优化，还是算网失配倒逼的流水线气泡治理，底层都在于对计算密度、访存带宽与网络通信的严谨定量平衡。二是分布式系统的经典工程积淀，从多层级状态的生命周期管理、集合通信的物理拓扑求解，到智能体运行时的动态依赖编排与一致性护栏，无一不是分布式系统核心设计逻辑在全新负载下的深化延伸。
这些深层脉络表明，在这个算法快速迭代的时代，存在着一个经常被忽视的系统工程事实：当代 AI 领域的重大突破，始终离不开体系结构量化分析与分布式系统方法论的坚实支撑。
对于在云原生领域深耕多年的工程师而言，这并不是过往经验的失效，解耦设计、故障定位、容灾一致性与容量规划上积累的工程直觉，在算力成本更高、物理约束更严苛的 AI 负载面前，反而展现出更强的生命力。对于正在步入这一领域的学者与新人，也不必被万卡集群的规模所束缚，最具价值的突破往往源自清晰的局部切入。当一个问题能够被界定为“在特定负载下、面临何种物理约束、如何以可复现的工程证据证明新机制更优”时，它便已经触碰到了系统研究的核心门槛。
结语：算力效率的边界与系统演进
物理芯片的标称峰值从来无法直接等同于工程落地的真实生产力。算力效率的真实边界，从来不是由单张 GPU 的理论算力单向界定的，而是由四大核心命题在全局协同中的综合表现所共同决定的：算力调度中的显存约束、状态管理中的重算代价、通信协同中的算网失配，以及效能度量中的质量权衡。
围绕这些物理边界的系统攻坚才刚刚开始。单点的工程探索虽然层出不穷，但如何将零散的优化沉淀为一致的系统抽象，依然是摆在每一位架构师面前的长期课题。
这也是今年 10 月 QCon 全球软件开发大会（上海站）设立 AI Infra 专题的初衷。我们将以“算力效率决定规模化落地”为主线，汇聚一线从事训练数据处理、推理自治与算子优化、KV cache 块级复用、强化学习系统以及智能体执行环境的同行，共同探讨如何把分布式系统与体系结构的方法论，转化为真实生产环境中的工程解法。我们期待与更多系统工程师、架构师和研究者同行，共同探索新一代智能基础设施的演进之路。
参考文献
-
Mooncake (FAST '25): Trading More Storage for Less Computation — A KVCache-centric Architecture for Serving LLM Chatbot. *23rd USENIX Conference on File and Storage Technologies (FAST '25), Best Paper*.
-
RollPacker (NSDI '26): Taming Long-Tail Rollouts for RL Post-Training with Tail Batching. *23rd USENIX Symposium on Networked Systems Design and Implementation (NSDI '26)*.
-
FLARE (NSDI '26): Anomaly Diagnostics for Divergent LLM Training in GPU Clusters of Thousand-Plus Scale. *23rd USENIX Symposium on Networked Systems Design and Implementation (NSDI '26)*.
-
Checkmate (NSDI '26): Zero Performance Overhead Model Checkpointing via Network Gradient Replication. *23rd USENIX Symposium on Networked Systems Design and Implementation (NSDI '26)*.
-
BlitzScale (OSDI '25): Fast and Live Large Model Autoscaling with O(1) Host Caching. *19th USENIX Symposium on Operating Systems Design and Implementation (OSDI '25)*.
-
PagedAttention / vLLM (SOSP '23): Efficient Memory Management for Large Language Model Serving with PagedAttention. *29th ACM Symposium on Operating Systems Principles (SOSP '23)*.
会议推荐
QCon 全球软件开发大会·2026（上海站）将于 10 月 22 日—24 日举办。本届大会聚焦 Harness AI 时代的工程实践，从「构建 AI」到「驾驭 AI」，围绕 AI Native 架构、Agent Runtime、AI Infra、Agent 安全与可观测、Loop Engineering、具身智能与世界模型等热门技术方向，邀请全球技术社区与产业一线实践者，共同分享 AI Native 时代最具价值的工程经验。查看更多详情可扫码或联系票务经理 18514549229 进行咨询。
