首页 > 资讯 > 港大教授创业,雷军华为都投了:一条"非主流"技术路线,想改写大模型"逐字生成"的老办法

港大教授创业,雷军华为都投了:一条"非主流"技术路线,想改写大模型"逐字生成"的老办法

36氪文章 2026-10-14 21:22 7 阅读 查看原文

一家叫DiffuSpace的公司,最近完成数亿人民币融资,是"扩散语言模型"这个方向迄今全球最大的一笔。创始人孔令鹏,是香港大学的教授。投资方里,经纬、顺为、君联联合领投,中科创星、华为哈勃、地平线跟投——顺为是雷军创办的机构,华为哈勃则是华为旗下的投资平台。

这家公司押的,是一条和现在所有主流大模型都不同的技术路线。这条路能不能走通,关系到的不只是这一家公司,而是大模型这个行业下一步往哪走。

一、一条"非主流"路线,雷军华为都投了

现在所有主流大模型——GPT、DeepSeek、智谱——走的都是同一条路,叫"自回归"。它的原理很简单,就是一个字一个字往后生成:先出第一个字,再根据第一个字出第二个字,如此循环,直到把一句话写完。

这套方法统治了大模型好几年,但它有个天生的毛病:慢。因为要生成一百个字,就得跑一百步,一个字都跳不过去。

DiffuSpace押的是另一条路,叫"扩散"。这个词来自图像生成领域——Stable Diffusion就是用扩散模型画画。扩散的思路和自回归完全不同:它不是"一个字一个字敲",而是"整体涂抹、并行生成"。蚂蚁集团的赵俊博有个很形象的说法:扩散模型能"直接修改Token",不用像自回归那样只能往后写。

这里把两条路线的差异再讲细一点。自回归模型生成一句话,就像打字员一个一个敲字,敲到一半想改前面的字,只能删掉重来。扩散模型更像是画画,先在画布上涂一层模糊的底,然后一遍遍"去噪"、越来越清晰,而且想改哪个位置就能改哪个位置。这个差异,决定了它们的适用场景:从头写一段新文字,自回归够用;但改一个bug、改一段逻辑、在中间插一句话,扩散天生就擅长。

所以扩散语言模型最大的卖点,是"快"和"能改":并行生成让它更快,整体涂抹让它能在任意位置下笔。

孔令鹏是港大教授,从学术界出来创业,做的就是这条"非主流"路线。顺为、经纬、君联、华为哈勃、地平线,这么多顶级资本同时押一条还没被验证的路,说明它们赌的不是"扩散一定赢",而是"万一扩散赢了,先占住位置"。这跟当年押"开源还是闭源"、押"Transformer还是RNN"是一个逻辑——技术路线之争,赌错了是几亿打水漂,赌对了是下一个时代的入场券。而这家公司还预告,将在10月发布更大参数的模型,说明它不满足于"演示",是想真刀真枪地把扩散语言模型做大。

二、扩散的优势,正在被自回归追平

但扩散这条路,远没有它的宣传那么顺。

第一个问题,是它引以为傲的"快",打了折扣。自回归模型推理时,有一个叫KV-cache的加速技术——把已经算过的内容缓存起来,生成下一个字时不用重算。这里解释一下为什么它重要:自回归每算一个新字,都要"回头看"前面所有已经生成的字,如果不缓存,每生成一个字都得把前面的字重新算一遍,速度慢到不可接受。KV-cache就是把算过的结果存起来,每次只算增量。而扩散模型是"整体并行"的,没有这种"从前到后"的顺序,也就用不上这个加速。所以扩散的"并行",是拿"没法缓存"换来的,一进一出,优势就没那么明显了。

第二个问题更根本。扩散模型引以为傲的另一个能力,是"任意顺序生成"——可以填空、可以从中间开始、可以修改。但已经有论文证明,自回归模型通过特殊训练,也能做到"任意顺序生成",和扩散模型匹敌。换句话说,扩散的差异化卖点,正在被自回归一点一点追平。

还有第三层。有理论分析直接说,扩散语言模型未必比自回归好,结果甚至可能相反。原因在于,扩散在图像上成功,是因为图像是连续的——像素可以模糊、可以渐变,"逐步去噪"天然适配。但语言是离散的,一个字就是一个字,对错分明,扩散的"去噪"在离散空间里很难做。这是扩散语言模型最底层的理论障碍。

所以扩散现在的处境有点尴尬:优势在一点点缩小,障碍却一直没去掉。可为什么还有这么多资本在押它?答案得从更底层去找。

三、"token必须死":这场仗的底层,是范式革命

要回答这个问题,得把视角拉到最底层。

扩散语言模型真正的障碍,是"token"这个东西本身。token是"词元",是现在所有大模型的基本单位——不管是自回归还是扩散,都在token的层面上工作。但已经有人喊出了更激进的口号:"token必须死"。意思是,token这种离散的表示方式,本身就限制了模型的能力,下一代模型应该放弃离散token,改用连续的表示。

如果这个判断成立,那这场"扩散vs自回归"的争论,其实只是更大变革的一个前奏——真正要变的,是token这个地基本身。而扩散被推到台前,是因为它在"连续表示"这条路上,比自回归走得更近了一步。它不只是一条技术路线,更像是一次范式革命的探路。

而行业最顶层的人,也已经开始反思了。Karpathy——前OpenAI、特斯拉AI的负责人,AI圈最有影响力的人之一——2025年11月就发帖说,人类的思维或许更偏向自回归,但潜意识里"很难说就不存在某种更像扩散的机制",两者之间"可以插值、甚至泛化"。知名研究者Sebastian Raschka在2026年预测里也写:Transformer统治依旧,但扩散模型正悄然崛起。

更关键的是,这不是DiffuSpace一家的赌注。谷歌2025年5月就发布了扩散版Gemini——Gemini Diffusion,2026年又开源了扩散模型DiffusionGemma。蚂蚁的赵俊博公开讲扩散,团队还开源了千亿参数的扩散模型LLaDA 2.0。华为哈勃也在投。这说明"扩散"已经从"一家公司的豪赌",变成了"巨头们的共识性试探"——大家都在试探,下一代大模型到底该长什么样。当一个技术方向同时被谷歌、蚂蚁、华为这些巨头用真金白银或人力去布局,它就不再是边缘的"非主流",而是"下一个范式"的候选者之一。

而且,扩散语言模型现在最务实的一条路,不是"从头训练一个扩散模型去颠覆自回归",而是"把已有的自回归模型适配成扩散模型"——DiffuSpace自己的Dream 7B就是这么干的,它用Qwen2.5 7B的自回归权重初始化,再转成扩散范式。这意味着扩散现在还离不开自回归的底子,它更像是自回归的一个"升级补丁",而不是一个"替代者"。

回到DiffuSpace。它押的这条扩散路线,真正的价值可能不在"取代自回归",而在"补上自回归做不好的那一块"——代码编辑、文档修改、Agent的自我修正。自回归只能往后写,想改前面得删了重来;扩散能直接改任意位置。这个"可修改"的能力,在代码场景里有实实在在的用处。

所以这场路线之争,最后可能不是"谁取代谁",而是"分工":自回归管生成,扩散管修改。而DiffuSpace,以及它背后的经纬、顺为、君联、华为哈勃、地平线,赌的是这个"修改"的市场,够不够大,值不值得现在就用数亿人民币去卡位。

这个"分工"的图景,其实在AI历史上出现过一次。当年图像生成领域,上一代范式是GAN,后来被扩散模型彻底取代——因为扩散画出来的图,质量肉眼可见地碾压GAN。有人会问:语言领域会不会重演?答案可能不会那么干脆。因为GAN被取代,是扩散在"质量"上碾压了它;而扩散在语言上,质量能不能碾压自回归,至今没有被证明。更可能的结果,不是"扩散取代自回归",而是"两条路线共存、各干各的"——自回归继续做"生成",扩散去做"修改和编辑"。这比"颠覆"温和,也比"消失"实在得多。

至于"token会不会死"、自回归会不会被颠覆,那是更大的问题,Karpathy们也还没想清楚。DiffuSpace能做的,是先站在"质疑自回归"这条战线上,在扩散语言模型这个还没人站住的位置上先占个位。