讯飞给Agent时代交出的全国产算力的工程答卷。
作者｜七月
编辑｜栗子
很多人可能都不记得，早期时候手机里的语音输入，是需要联网的。
当时，用户说一句话，需要先上传到服务器，识别完再传回来，速度全看网速快慢。
但今天，日常听写直接在手机本地就能搞定。
厂商不用再为每一句闲聊付服务器的钱，用户说的话也不用句句都离开手机。
今天的大模型，正在重走这条路，只是业务更大更重要。一次复杂的Agent任务，动辄几十轮调用、消耗几十万Token。如果完全依靠云端，必然会遇到高昂的算力成本和严苛的数据合规问题。
由此，端云一体，成为了Agent时代算力经济学的必然形态。
10月22日的全球1024开发者节上，科大讯飞发布了讯飞星火X2.6。
它是一套组合：云端是一个293B总参数、30B激活的MoE模型，全程在国产算力上训练和推理；端侧是一个开源的4B小模型，装在手机、电脑甚至学习机里；中间是一个路由层，决定每一次任务是在端侧还是在云上。
更重要的是，这里的“端”，指的是用户的手机，而非企业自建的机房。路线也和当年的语音输入一样，让大多数请求在端侧处理，小部分端侧处理不了的需求上云。
讯飞给的数字是，能在设备上独立完成的任务占比，提升到了41.9%。
这个数字背后，我们更关心三个具体的工程与商业问题：在受限的国产算力上，云端大模型到底能做到什么水平？中间的路由层凭什么精准判断一个任务该去哪？以及，这套东西最后到底由谁来买单？
X2.6的发布，是讯飞对这三个问题给出的第一版答案。
1.算不清的Token账，
出不去的行业数据
纯云端路线遇到的第一个问题是成本。
ChatBot的对话AI时代，一次问答消耗几千Token，并且越来越便宜，所以没人在意这点钱。
但Agent时代的成本已不可同日而语。
一个完整的Agent任务，要先读材料、拆解需求，再挑工具、写代码、核对结果，中间往往还要返工几轮。每一步都是一次模型调用，而且每次调用都得把前面的上下文重新读一遍。一旦把几十页的合同、几百封邮件或者几千行代码的仓库丢进去，单次任务消耗的Token轻松就到百万级。在业内各种实测里，这早就不是什么新鲜事。
不仅如此，token的消耗方式也在发生变化。
此前的token消耗与问答次数挂钩，而现在则要看任务的长度。比如把合同审查、经营复盘、客服工单这些任务交给Agent，就意味着它必然在企业内持续不断运行。即使token价格下调，也追不上消耗量的增长。
所以，一家企业要想真正用上Agent，除了模型成本本身要有性价比，还需要考虑如何减少任务环节、减少重读上下文次数、减少云端处理。这才是Agent可用的前提。
第二个问题是合规。
央国企、金融、医疗、政法，是眼下对大模型最舍得花钱的几个行业，也是对数据管得最严的几个行业。
他们常说的“数据不出域”，翻译成大白话就是：原始文件不离开自己的机器和机房，谁能看、拿去干什么，自己说了算。合同里的对方账户、病历里的患者信息、作业本上的学生姓名，在这些机构的规则下，无论云端模型多聪明，都不能把原件直接上传第三方云端。
“我们重要敏感的商业数据、科研数据，敢不敢交给最聪明的大模型去处理？即便它再聪明，可能都会出现幻觉，如何保障在重大领域的完全安全可控的运行？我们消耗的投资成本越来越大。一件简单工作都会消耗掉我们几千美金的机会成本。”科大讯飞董事长刘庆峰在全球1024开发者节主论坛现场直言。
买家的数据是这一问题最好的反馈。
第三方机构智能超参数统计，2026年前三个季度，大模型中标项目里应用类项目的数量占比从58%升到64%；算力类项目的金额占比则从二季度的67.3%降到了三季度的52.9%。这意味着，买家的注意力开始从“算力是否充足”转向了任务的“可完成度”和“安全性”。
不仅如此，金融机构围绕安全围栏、提示词攻击防护、安全评测和智能体观测的采购需求也在快速增长。
2024-2026年9月金融行业大模型季度中标项目数量及披露金额 图源：智能超参数
任务越来越长，Token越来越多，买家越来越注重结果与安全。而破局的方式，就是端云一体。
2.按结果收钱的厂商，
最想替客户省Token
与海外直接向用户收订阅费不同，国内AI的商业化其实并不顺利：C端付费率不高，B端客户大多按项目制付费。
在这种情况下，一部分国内厂商选择不按调用量收费，而按业务结果收费。
比如学校买一台智能批阅机，付的是设备和服务的钱；医院接入影像云，按调阅次数付费。客户只为结果买单，背后调用多少次模型、消耗多少token，他们并不关心。
这种商业模式看似非常合理，但从整个企业级AI市场来看，落实的厂商并不多。原因很简单，价格一旦按结果锁死，模型每多消耗一个token，吃掉的都是厂商自己的利润。
在这种情况下，这些厂商显然更希望AI可以在本地处需求，而非上传云端消耗算力。
端云一体，是按结果收费这种商业模式的模型工程底座。
讯飞模型之所以受到大量开发者追捧，原因正是如此。9月1日，讯飞开源星火X2.5-4B和1.7B两款端侧模型，到10月20日全渠道下载256万次，进入全球端侧模型下载量前四。
开发者的用脚投票说明，市面上有大量任务，大家本来就希望在本地运行。
但端侧模型过去的通病是，能处理简单任务，但不能处理复杂任务。多数端侧小模型的能力边界停在问答、摘要和简单指令上，一碰到要规划多步、要跨应用调工具的任务就掉链子。
这个问题，正是星火X2.6-4B升级的重点。
按讯飞的评测口径，业界主流4B端侧模型能独立运行的Agent任务类型只有12.8%左右，X2.6-4B把这个比例提到了40%以上，综合表现越级对标9B开源模型，并延续了9月X2.5-4B率先做到的百万Token上下文。
背后的训练方法，讯飞称之为“端侧模型能力感知的自适应迭代后训练”。通俗点说，云端建一个教师模型池，端侧小模型先自己摸清在哪些能力上有短板，再去挑对应的老师补课，学一轮、测一轮、再调整各科的学习比重。
刘庆峰说，下一步的目标是把端侧独立运行的Agent任务比例提高到60%以上。
端侧模型能力感知的自适应迭代后训练算法 图源：科大讯飞
12.8%到41.9%，4B模型明显能干很多真实业务。讯飞现场的纯端侧演示也说明了这一点。
一家机器人公司的总经理要做周度经营复盘，本地部署的X2.6-4B从邮箱里筛出各大区的周报和附件，先把各区营收汇成一张表，再把销售、排产和供应链的信息交叉比对，列出需要老板拍板的事项，第一条就是撞单风险：河南团队和安徽团队在同一个客户那里各自报价。每一条结论都能点回原始邮件。全程不联网，数据不出这台电脑。
X2.6现场演示机器人公司总经理做周经营复盘任务 视频来源：科大讯飞
一个总经理的邮箱，几乎是一家公司最完整的切面：客户是谁、报价多少、哪条产线在赶工、哪个供应商在拖货。每封邮件的内容只是一块拼图，把几百封邮件读完、关联起来、就能提炼成“哪两个团队在抢同一个客户、哪条供应链下个月会缺货”，这份分析本身就是公司最核心的经营机密。分析得越到位，越不能让它上云。
这正是过去企业面对云端大模型时的尴尬：能力越强，越不敢用。
更让企业信息部门头疼的是，隐私与安全问题已经不是“会不会发生”的问题。
不少员工为了图省事，早就习惯把公司的合同、方案、代码直接复制粘贴进各种在线网页版大模型里，数据顺着公网就存进了别人的服务器。
演示结束后，刘庆峰半开玩笑地对着台下一屋子企业家说：“回去都检查一下，自己的邮件、合同、内部科研资料，是不是已经交出去了。”这话听着像调侃，但其实这是很多企业信息部门正在面临的问题。
回看AI的发展，一年前，这种这种长上下文、多步推理的复杂任务，本地小模型不能处理，云端大模型不安全。
现在，这个问题终于有了最优解。端侧模型能力跨过及格线，最大的意义就是填平了能用和敢用之间的鸿沟。
3.分层：国产算力约束下长出的工程哲学
有意思的是，讯飞最初被国产芯片的显存和带宽限制逼出来的省算力方案，放到今天，恰好成了全行业破局成本和合规难题的最佳选择。
在国内主流大模型里，星火是为数不多从训练到推理全程跑在国产算力上的一个。这条路的难点在于硬件参数：国产芯片在单卡显存和片间带宽上的短板，直接制约了长上下文和智能体方向的能力建设。而这两项恰好是过去一年市场最热的方向。
今年上半年业绩会上，科大讯飞董事长刘庆峰也曾对外表示：因为国产算力对超长上下文的限制，在这一波以代码和智能体为主的市场热点中，讯飞看起来有所缺位。
X2.6首先补的就是这块短板。云端模型基于全国产算力完成293B-A30B（总参数2930亿，激活300亿）的升级，上下文从256K扩到1M。
在发布会PPT普遍追求“全面SOTA”的当下，这种对差距的坦率反而让数据更可信。
几项技术创新背后，是同一种工程哲学：分层。
先看训练侧。
国产芯片的老问题是超长上下文“慢到不可用”。
对此，讯飞提出了亲和国产平台的长程任务动态并行训练技术——把长任务和短任务自动拆开、分别调度。这有点像把快车和慢车分到不同车道，不让一列慢车堵死整条路。再配合动态稀疏注意力机制（相当于让模型学会略读，跳过冗余计算，但尽量不丢关键信息），星火X2.6模型在飞星二号万卡集群上训练2000B、256K长度的数据，训练时间从4.5个月缩短到1.2个月，效率提升到原来的4倍。
讯飞星火X2.6亲和国产平台的长程任务动态并行训练技术 图源：「甲子光年」现场拍摄
回看讯飞此前的公开披露，其MoE模型在国产算力上的训练效率，曾从开箱时相当于同规模A800集群的30%，一路干到93%。这次的长上下文提速，显然是顺着这条工程苦旅又往前了一步。
再看推理侧。
为了把推理成本打下来，讯飞落地了自适应存算协同推理、异构分布式推理，以及业内首个适配全国产硬件的“四层KVCache架构”。
KVCache是模型处理长上下文时存下来的中间结果，命中率高，很多内容就不用重算；所谓“四层”，就是按照数据的访问冷热程度，把这些缓存分别放进不同层级的存储介质里，既不挤占宝贵的高速显存，又保证随时能调出来不丢数据。
据讯飞披露，飞星二号国产芯片的推理效率达到优化前的4.5倍，KVCache命中率从63%提升到95.7%。对高频调用的Agent业务来说，这个命中率直接关系到每一次推理的真实成本。
讯飞星火X2.6基于国产算力集群的自适应存算协同推理技术 图源：「甲子光年」现场拍摄
把存储切成四层，和把算力拆成端云，是同一种思路在不同层面上的应用：资源有限时，让每一份算力发挥最大价值。
这套策略最初是被国产芯片的显存和带宽逼出来的。而当全行业开始算Token账时，它反而变成了一种普适的能力。
具体到端云一体。讯飞的架构是先由端侧模型做一次路由判断：这个任务是上云处理？还是端侧处理？还是端云协同？而协同又分两种，“云指导端”和“端云分工”。
把这套架构真正盘活的，是一个容易被忽略的部件——路由器。
端云协同的难点在于任务的分配逻辑：端侧是否能做，上云是否划算。如果判断错误，要么端侧处理难题，输出结果无法用；要么小任务让云端处理，协同就成了摆设。
讯飞的做法是，把路由也当成一个训练问题。同一个任务，讯飞让端侧和云端各做几遍，比对结果质量，再由一个评语模型打分形成奖励信号，优化任务分配策略。
在这种方式下，端云路由准确率由81.2%提升到了96.1%。
星火大模型端云一体协同架构 图源：科大讯飞
这个数字的行业意义大过它的技术意义。它预示着一个新的评价维度：往后衡量一套端云方案，看的将是路由准确率、端侧承接率和单任务的综合成本，而不是某一个模型的单项Benchmark。
谁决定任务在哪处理，谁就站到了Agent时代的“操作系统层”。
而关于让很多企业头疼的合规问题，讯飞也在现场给出了完整解决方案。
一份设备采购合同要审风险，端侧Agent先判断这项任务需要云端的法规查证能力，弹窗向用户申请授权；获准后在本地识别出7类28处敏感信息——公司名、责任人、银行账户、合同金额逐一替换成脱敏代号，用户可以逐项检查、修改；确认后，脱敏文本加密上传，原始Word文件始终留在本地。
云端完成法规比对和跨条款分析，比如发现“逾期未验收视为合格”的约定会和后面的付款条件联动，可能让公司在不知情时提前触发全款支付义务，给出修订建议回传，端侧再把敏感信息还原回去，交付一份风险汇总表和一份带修订痕迹的Word合同。
星火X2.6帮助采购合同识别风险、修订内容并给出最终版方案 视频来源：科大讯飞
“申请授权—本地脱敏—人工确认—加密上云—本地还原”，这条链路每一步都有人进行核实。它回答的是合规问题，顺带也回答了成本问题：上传的是脱敏后的文本，不是几十页带排版的原件，云端要处理的内容自然少了。
4.让民生服务做得起、做得久
高频率、低单价、数据敏感，民生和专业岗位的场景同时具备的三个特点，恰好是纯云端最不经济、也最不合规的区域。
一所学校每天产生的作业和试卷，一家医院每天的影像和随访，一个律所每天经手的卷宗，单次价值都不高，但次数极多，而且几乎每一份都带着姓名和隐私。
这些都是端云一体发挥价值的场景。本地先做识别和整理，需要云端能力时脱敏上传，结果回来再在本地还原。
更重要的是，在这些行业里，客户习惯了按设备台数、按软件席位或者按调阅次数来买单，藏在背后的算力消耗全得由厂商自己扛。所以这笔算力账能否算得过来，直接决定了这类AI服务在“按结果定价”的商业模式下，到底能不能活下去、真正普及开。
回顾历史，语音输入从必须联网到大部分在手机上完成，走了差不多十年。大模型从纯云端走向成熟的端云一体，这个磨合周期恐怕也不会太短。比如端侧小模型在真实业务场景中的表现究竟如何？任务路由在个别冷门需求上会不会失灵？面对市面上五花八门的终端芯片，异构硬件的适配成本怎么摊薄？
这些工程难题，都需要在真实业务中一点点探索。
发布会尾声，刘庆峰坦言，国产算力对标全球“还有两代的差距，很快会到一代、半代，一定会有并跑甚至领跑的那一天”。谈到AI应用，他则更加一针见血：“很多AI应用在AI时代如果只是浅尝辄止，只有3厘米深，大概率就算做出来也没什么前景，也会很快被替代。”
这两句话放在一起，差不多就是星火X2.6当下最真实的处境：底层的国产算力底座还在咬牙追赶，但上层的行业应用必须先往深水区里扎。
说到底，国产AI最终能跑出多大的社会价值，答案不在发布会大屏的参数对比表里，而在学校、医院、律所和工厂那一个个真实场景里。哪些任务留在本地、哪些任务上了云端、每一次路由分配到底替客户省下了几分钱、守住了多少条隐私数据，这些细碎的工程账，最后都得在具体的业务一线里一笔笔核对清楚。
账对上了，技术才算真正落了地。
（封面图来源：AI生成）
END.
