翻译｜林绮蓓
编辑｜蔡芳芳
前不久，Reflection AI 发布首个开放权重模型 Beam，声称对标中国开源模型。之后不到一周，这家被网友戏称为“美国版 DeepSeek”的公司，就传出了拟被英伟达收购的消息。
据《金融时报》报道，双方正在洽谈进一步投资或收购事宜，可能的交易形式还包括聘用团队并获得技术授权。目前，谈判仍处于早期阶段，尚未达成协议，双方也未就该报道公开回应。
作为 Reflection AI 的重要投资方，英伟达此次寻求深化合作，让这家专注于开放模型的创业公司及其技术路线受到更多关注。
Reflection AI 是一家致力于构建前沿开放模型的初创公司，由前 Google DeepMind 研究人员 Misha Laskin 和 Ioannis Antonoglou 于 2024 年创立。公司在 10 月初公布的首个开放权重模型 Beam，直接对标中国模型在开放生态中的领先水平。
Beam 采用稀疏混合专家（MoE）架构，总参数量为 5010 亿，激活参数量为 230 亿，重点面向编程、推理和智能体任务。根据 Reflection AI 公布的评测，Beam 在部分高级推理基准上达到与 GLM-5.2 相近的表现，所需推理计算量约为后者的三分之一至四分之一；面对 Kimi K3 等能力更强的开放模型，其主要竞争点则是推理效率。按照公布时的计划，模型权重及配套技术资料将于 10 月内开放，当前提供早期访问申请。
10 月 10 日，Reflection AI 联合创始人兼 CEO Misha Laskin 做客科技播客《NO PRIORS》。他提出，开放模型会成为重要的 AI 基础设施，而强化学习、企业定制和开放生态将共同推动下一阶段的发展。
谈到中国开放模型的领先，Misha 将其称为给全球开发者的一份“礼物”。Reflection AI 决定自己做预训练，部分原因正是团队需要一个强大的开放底座，却发现优秀的选择主要来自中国。他认为，中国模型会继续保持竞争力，但开放模型应该保持多元竞争的生态。此外，竞争也不止于模型能力：当企业和国家围绕某个模型构建应用，后续可能逐步采用与之配套的芯片、软件和基础设施。
有竞争力的开放模型，可能影响未来的算力部署和软硬件选择。沿着这一逻辑，英伟达对 Reflection AI 的兴趣就多了一层值得关注的思考维度。
太长不看版：
Q：Reflection AI 为什么从强化学习转向自己训练完整的开放模型？
A：我们最初想在已有开放模型上，通过强化学习让系统具备智能体能力。但后来发现，优秀的开放模型主要来自中国，而我们需要一个强大的模型底座。与此同时，研究也表明，要让大规模强化学习取得好效果，就需要自己做预训练，两者联系非常紧密。
Q：从零建立前沿模型实验室，最难的是什么？
A：所有事情都很难。你得把事情都做对：招人、留人、拿到数据和算力，还要搭好基础设施，让团队朝同一个方向努力。在 DeepMind，很多工具已经成熟到让研究人员觉得理所当然；创业之后，这些都得从头建设。我们大约一年内从 30 人发展到 300 人，才逐步具备完整的模型研发能力。
Q：追赶前沿模型，是不是必须拥有与大实验室一样多的资源？
A：追赶时不一定。研究可以分为探索新想法和落实已知有效的方法，优秀人才可以减少不必要的探索，提高资金使用效率。但真正走到最前沿，就需要相应规模的资源。资本投入终究有上限，好在算力效率也在提高，模型本身正在帮助我们构建更好的模型。
Q：你们看好哪些能创造经济价值的应用方向？
A：编程和智能体能力是基础，但模型的能力并不均匀，换一个任务或运行框架，未必能顺畅适应。有了合适的数据，它又能很快改善。因此，关键是找到有价值的业务，建立好的评估，再通过合成数据和定制，让模型在成本与效果之间取得更好的平衡，不一定要直接使用客户数据训练。
Q：开放模型怎么商业化？
A：开放模型和闭源模型都希望扩大推理业务。模型许可宽松，不代表部署它不需要成本：客户还需要推理软件、集群管理、运行框架和算力。我们帮助企业把这些配套搭起来，做成有价值的应用，再由应用带动持续的推理需求。服务的价值就在于帮助客户真正用起来。
Q：企业会怎样从闭源模型转向开放模型？
A：通常先“租用智能”，再考虑“拥有智能”。企业往往已经在闭源模型上跑起了一定规模的业务，才会因为成本和控制权考虑自主部署。但我认为，多数企业首先会定制系统，比如围绕模型搭建适合业务的智能体工作流，等应用和数据积累成熟后，再逐步进行模型微调。
Q：你怎么看中国开放模型的领先？
A：这是对全球有益的事，可以说是一份礼物。许多西方公司因此能建立更可持续的业务，减少对闭源供应商的依赖。我认为中国模型会继续保持优秀，但开放模型应该保持多元的竞争生态。西方也需要建立起有竞争力的生态，让市场拥有更多选择和竞争。
Q：为什么开放模型的竞争会涉及地缘政治？
A：只有模型还不够，使用者还需要配套的软件和基础设施。一个国家采用某个模型之后，可能逐渐采用与之配套的整套技术，并与供应方的供应链深度绑定。因此，模型带来的影响会延伸到芯片和数据中心。任何国家都希望其他国家在自己的技术之上构建产品，这会带来商业和地缘政治优势。
Q：开放模型会不会更不安全？
A：这种担忧是合理的，但不能只从封闭的角度理解安全。少数实验室里的几百名研究人员，很难覆盖所有潜在漏洞。我相信，让更多研究者参与发现和修补问题，有助于改善安全。尤其在网络安全中，攻击和防御能力很难分开，移除攻击能力，也可能让愿意参与防御的人失去工具。
Q：你认为 AI 安全最应该关注什么？
A：要区分已经发生、近期可以预见的风险，以及更理论化的情景。我倾向于优先处理现实问题。对齐没有一个神奇方程，很多工作就是发现缺陷，再用数据和算法逐一修补。随着系统变强，我们当然要关注意外后果，但这也意味着需要更多人参与实际的检测和修复。
Q：AI 能加速科研，未来还需要这么多研究人员和工程师吗？
A：完成同样的工作，可能需要更少的人，但我们想做的事情也在扩大，所以仍然觉得人手不足。模型能加快计算、实验和基础设施工作，人类还需要判断哪些环节可以交给它，哪些需要创造力。更大的需求会出现在应用端：企业需要懂模型、懂评估、能到现场解决实际问题的工程师，而这类人才还需要大量培养。
追赶前沿模型，要投入多少算力、做对多少事？
主持人：今天来到我们节目的，是 Reflection AI 联合创始人兼 CEO Misha Laskin。Reflection 致力于提供开放权重模型，希望以此推动智能的未来发展。Misha 此前曾在 Google DeepMind 担任研究员，并取得了物理学博士学位。Misha，能否先向我们介绍一下你们的最新进展？你们一直在开放权重模型和开源模型上开展很有意思的探索，尤其关注在美国推动这些工作。能否谈谈你们最近在忙什么，又在构建怎样的东西？
Misha Laskin： 过去 12 个月里，我们把公司的使命确立为：构建前沿开放智能，让尽可能多的人能够使用它。实际上，这段时间我们一直在全力冲刺，建立一个真正有能力做成这件事的实验室。
这让我想起里德·霍夫曼可能说过的一句话：一边开飞机，一边换轮胎。我们的经历确实如此。大约一年前，我们可能只有 30 人左右，但要做出这样的模型，确实需要一百多、甚至几百名研究人员和工程师。这真是一项堪比造火箭的项目。现在我们大约有 300 人，预训练、中期训练和强化学习各个方向的团队都已组建起来，也已经端到端地训练出了第一批模型。我们刚刚发布了一个名为 Beam 的模型，它是 Reflection 的第一个开放模型。
主持人： 这个过程中，最有挑战的是什么？谈到扩大模型规模，或者从头开始构建这些模型，人们通常会提到几个问题。首先是算力，如何获得足够多的算力，尤其是搭建一个能真正协同运作、有效使用的训练集群。其次是人才，显然，各家公司为了争夺研究人员，已经在薪酬上展开了激烈竞争。然后是数据规模。这几项之中，哪一项对你们的限制最大，或者最难解决？
Misha Laskin： 有意思的是，在公司的一次全员会上，也有人问过我同样的问题：“过去一年，最难的事情是什么？”实际情况是，每一件事都极其困难。有人可能会问：“到底是什么，让你们的模型比其他模型表现得更好？”答案同样是所有环节。你实际上得把 30 件事都做对。这也正是困难所在：这 30 件事，你必须样样都做好。你得招到优秀的人才，还得留住他们；你得有足够强的使命感和团队文化，让大家能够协同工作，同舟共济，朝着同一个方向努力。
你得拿到数据，得拿到算力，还得搭好基础设施，确保这些算力真正用得起来。在成熟的大型实验室里，很多东西已经建设了多年，才形成了相对稳定的基础。我此前在 DeepMind 工作，那些我们平时觉得理所当然的工具，或者说，我作为研究员，因为它们一直都能正常运作而觉得理所当然的工具，到了这里，都得自己从头搭建。所以我的回答是，每一件事情都很难；但能亲手把它们做成，会带来非常大的成就感。
主持人： 你刚才说，大约一年前，你们才真正下定决心做这件事。能否谈谈你们的目标和投入决心发生了怎样的变化，又是什么促成了这种转变？
Misha Laskin： 谈论这个转变的促成之前，我想先交代一下两年前创办公司的背景。我和联合创始人 Ioannis 一直在参与第一批 Gemini 模型的研发。我们都在强化学习团队，团队由 Ioannis 负责。当时，我们先后发布了 Gemini 1 和 Gemini 1.5。那个早期阶段的模型，体验跟最初的 ChatGPT 很像，主要就是聊天。基本上没有真正的编程能力，也没有智能体能力，这些模型只是比较擅长聊天。它们主要还是预训练模型，95% 的算力都花在了预训练上。我们则一直做强化学习，这是我们做研究的来时路。我的联合创始人 Ioannis 是 DeepMind 最早的一批创始工程师之一，参与了实验室所有重要的强化学习项目，包括 AlphaGo，并作出了关键贡献。
我们当时的判断是，既然我们在强化学习团队里已经看到，强化学习能够有效地对聊天模型进行对齐，那么就可以把同样的方法应用到数学、编程等领域，让这些系统具备智能体能力。这就是我们最核心的押注。
我们认为，独立实验室也能做成这件事，而且资金使用效率可以高得多，因为当时开源模型已经开始涌现。Mistral 发布了一个小模型，Llama 2 刚刚发布，我们也看到了 Llama 3 即将到来。我想那应该是两年前的事情。
公司成立后的第一年，首先发生的一件事是，无论在我们自己的实验中，还是在整个行业里，强化学习都比我们预想地更快取得了成效。o1 就是在那个时期发布的。我们本来以为还要等更久，因为从 2012 年的 ImageNet，到强化学习系统真正能够在大规模上有效运行，中间大约经历了四年，所以我们以为这次可能也需要差不多的时间。但每一年的实际进展，都比我上一年作出的预测更快。
公司成立大约一年后，我们发现，优秀的开放模型都来自中国，西方并没有真正出色的开放模型。而我们正在研发的技术，需要一个这样的模型作为基础。综合多方面的原因，结合当时的局势，我们决定，最有影响力的事情，就是自己端到端地构建开放模型，把对强化学习的押注与完整的模型研发结合起来。
这其中有企业需求方面的原因，有地缘政治方面的原因，也有研究方面的原因：我们后来发现，如果想让强化学习在大规模上取得非常好的效果，确实需要自己做模型的预训练。这两件事都得做，因为它们之间的联系实在太紧密了。
主持人： 传统观点一直认为，要在前沿模型的规模上做预训练，成本高得令人难以承受，至少也是极其昂贵的。显然，现在已经有大量算力转向后训练。当时你们如何考虑所需的资源，以及不同阶段之间的资源分配比例？你们有没有某些模型设计的原则，让你们一开始就觉得这件事可行？还是说，你们只是决定：“这件事必须做，资源我们再去想办法解决”？
Misha Laskin： 做开放模型实验室的一大好处，就是这些事情也可以公开谈。要做出有意义的东西，确实需要大量资源，但并不意味着一开始就需要和前沿实验室同等规模的资源。等你真正到了智能发展的最前沿，才需要和其他前沿实验室同等规模的资源。
你可以把研究分成两部分：探索新的想法，以及落实已知有效的想法。优秀人才之所以那么重要，部分原因就在于，他们能减少不必要的探索，让你集中精力执行那些行之有效的方法。如果目标是追赶前沿，那么你完全可以用高得多的资金效率来完成。
主持人： 你认为，追上前沿大概需要多少资金？
Misha Laskin： 我觉得要看情况，因为前沿一直在向前进步。实际上，每一年所需的资金都在增加。我稍后再回到预训练和后训练之间的资源分配问题。大约一年前，或者 18 个月前，所需资金应该还是几亿美元这个量级。而现在，甚至六个月前，大概就已经到了几十亿美元的量级，还没到一百亿美元。到了明年，我认为会进入一百亿美元的量级。
可以这样理解：模型每迭代一代，算力规模大约就会变成原来的四倍。我有一个粗略的判断方法，就是看当时最先进的芯片。几年前可能是 H100，规模可能是十万块 H100。后来训练 Astra，用的是十万块 Blackwell 进行了一次大规模训练，相比 H100，算力大约又增加到了四倍。我相信下一代大概会用十万块 Vera Rubin。 这样就能大致理解规模的变化：从几亿美元，到几十亿美元，再到几百亿美元。
主持人： 不过，这种增长到了某个阶段，似乎一定会逐渐接近上限。因为相对于这些公司的收入规模，甚至潜在收入规模，从最终能够创造的经济价值来看，它们继续投入的能力总会触及极限。所以，你认为模型规模，或者至少训练集群的规模，正在接近这个上限吗？
Misha Laskin： 完全是这样。资本开支毕竟有上限。现在前沿实验室已经投入几千亿美元，未来一两年，它们会投入几万亿美元吗？恐怕不太可能。不过，有几件事正在发生，其中一件就是，算力的使用效率正在大幅提高，因为模型本身正在变成帮助构建模型的工具。
当研究完全由人类研究人员完成时，效率每年可能提升七倍左右。这些变化是可以用相当严格的技术方法追踪的。以预训练为例，你先有一个预训练损失，再以此衡量算力效率的提升。做出一些改动后，你得到新的预训练损失曲线，理想情况下，应该能够用更少的算力达到同样的水平。所以，所谓七倍，实际上是一个非常具体、可以研究的指标。放到整个系统来看，预训练可能已经比较成熟，但强化学习还有很大的提升空间。我们现在的效率可能已经到提升至原来的三十倍的阶段，这具体取决于模型在改进自身方面究竟有多强。这是正在发生的一件事。
主持人： 每年三十倍，还是在什么时间范围内？
Misha Laskin： 每一代模型。要看具体衡量什么指标。但我确实认为，这个速度可能已经是研究人员单独工作时的四倍，甚至更高，而且很可能还会继续加快。
每一次训练浮点运算（FLOP）能够转化出的智能都在增加，因此，即使算力规模到了某个阶段接近上限，也可以接受。另外，每一次浮点运算能够带来的收入也在增加。其中包含的智能越多，就越能创造价值。再回到预训练和强化学习如何分配资源的问题：Beam 总参数量为 5000 亿，激活参数量为 230 亿，训练它用到了 6000 块 GB300。我记得当时跑了几个星期，但现在随着基础设施效率的提高，大约 12 天就可以完成，甚至更短。 强化学习则用了略多于一万块 GB300，持续四周。所以，实际上强化学习消耗的浮点运算量更多。强化学习任务也更复杂，因为既要在大规模上进行大量推理，为智能体配置各种各样的沙箱，同时又要进行训练。
我之所以进入 AI 领域，是因为看到了我的联合创始人在 AlphaGo 上的工作。当时我还是一名物理学家，其中有一刻让我印象特别深：AlphaGo 的一张图表显示，它的能力一直在提升，没有停下来。他们最后在某个节点停止了训练，因为继续提升还有什么意义呢？它已经打败世界冠军了。我当时想，如果能够弄清楚怎样把这套方法用在有经济价值的事情上，那么问题就会变成：你愿意投入多少钱，让这个系统继续变好？那就成了一个经济问题。
现在，整个领域已经走到了这一步。对于这个开源项目，以及我们将随之发布的技术报告，有一点让我特别兴奋：我们会说明这些系统究竟是怎样构建出来的。我们的强化学习系统始终没有停止学习。如果你看那些曲线，会发现它们一直往上走；想要进一步扩大规模，基本上就是算力的问题。也就是说，我们这个领域已经能够构建非常通用、而且能力始终在持续提升的强化学习系统。你当然希望把它们做得高效得多，从已有算力中获取尽可能多的智能。但这也意味着，问题已经从“能不能把这样的系统训练出来”，转向“从哪里获得数据，以及什么事情有经济价值”。给某件事投入多少钱，换取某种程度的改进，最终成了一个经济决策。
主持人： 接下来，你们计划重点投入哪些方向进一步提升模型能力？有哪些进展可以分享？
Misha Laskin： 有些科学家可能不太愿意接受这个说法，但 AI 发展到今天，虽然仍离不开科学研究，但越来越多的工作已经是在解决工程问题。它当然是一门科学，但是却越来越像一门工程学科。还是拿造火箭来打比方，造火箭有科学的一面，但大多数人会把它看作一项包含一些科学研究的工程工作。现在的感受大致就是如此。
今天扩大规模的几个方向已经相对确定，主要就是预训练、合成数据和强化学习。也许还存在一些我们尚不知道、完全另辟蹊径的方向，也有一些新实验室正在探索，但目前的主线就是这些。 或者从某种意义上，也可以概括成训练和强化学习两个方向。
在这些环节里，架构、数据、算法都还有改进的余地，但它已经不像五年前那样，处于各种方向都可以大胆开拓的阶段。DeepMind 和 Google Brain 曾经非常可贵的一点，包括早期的 OpenAI 也是如此，他们押注的方向非常多元。大家都在尝试一些大胆而有趣的东西。现在，研究方向已经收敛了很多。这其中也有一点“硬件彩票”（hardware lottery）的意味：一旦某种方向开始奏效，硬件也会围绕它协同优化。于是，即使你有很棒的新想法，如果它跟现有硬件不够匹配，实际做起来也未必划算，新方向就更难冒出来。
回到你的问题，改进预训练究竟还能带来多少收益，目前还没有出现趋近上限的迹象。我们没有看到算力效率的提升开始放缓，新的东西还在不断出现。强化学习的提升空间尤其大，我认为其中可能还有大量东西有待发现。不过，即使如此，这些发现给人的感觉也更像是工程上的突破，而不是对一门全新科学作出开创性的理解。
从“租用智能”到“拥有智能”，开放模型如何做成生意？
主持人： 你提到，投入要对应某种经济活动，或者带来一定的生产力提升，这样才能从资金角度支撑你们继续做下去。据我所知，Anthropic 很早就押注了编程，OpenAI 显然也是如此。他们最初有一个编程模型，与 GitHub Copilot 合作，后来又扩展到了消费者市场和其他领域。从创造经济价值的角度来看，你们有没有特别关注的应用方向？是编程和智能体工作流，还是其他领域？这些似乎是很多应用的基础。我很好奇，你们是否已经有一些判断：模型会在哪些地方用得最多，或者最需要把它引向哪些方向？
Misha Laskin： 是的。我认为，编程和智能体相关能力为智能打下了某种基础，而这种智能最终呈现出的状态很有意思：它的能力分布并不均匀。一方面，它以一种出人意料的方式发生了泛化。让我惊讶的是，我们的模型竟然这么快就达到了某些相当新的能力水平，而其他实验室也是不久前才发现这些能力的。这其中确实发生了某种能力的衔接与泛化。另一方面，它的表现又有明显的参差不齐之处。一旦你有了适合目标任务的数据，模型就能很快适应；但即使在不同的评测基准之间，比如 Terminal-Bench 的不同版本之间，这种参差也依然存在。不同运行框架（harness）之间，并不会自然出现顺畅的泛化。不过，只要系统已经能够工作，具备了通用的智能体能力，再拿到适配新框架的数据，它实际上就会很快开始适应。
这意味着，你已经有一个适应能力相当强的系统，接下来要解决的是：具有经济价值的数据资源在哪里？我认为，这也是开放模型强大的原因之一。企业和客户可以拿到模型，针对自己的业务进行定制，从而为特定工作负载找到近似帕累托最优的方案，也就是以尽可能低的成本，获得尽可能高的性能。这是一个需要通过实践来回答的问题：你走到客户那里，真正看看什么对他们有价值，再判断能否为此生成数据。通常，只要一件事具有经济价值，就能够生成相应的数据，因为你甚至不一定需要直接用客户的数据训练。更多时候，你是在建立评估方法；如果能为客户的任务设计出好的评估，就能生成与之相近的合成数据，并获得很好的泛化效果。
具体来说，金融领域的各种“了解你的客户”（KYC）流程和合规流程就很有价值。网络安全领域的许多工作，尤其是网络防御，也相当有价值，法律领域同样如此。企业内部有各种值得用智能体来做的垂直业务，而且，要在这些领域把东西做成，方法模式往往非常相似。
主持人： Beam 有一点非常突出，就是模型的推理效率。关于这点能否再介绍一下？
Misha Laskin： Beam 是围绕编程和智能体任务训练的模型，这也是它的强项。构建模型时，重要的不只是能力，还有智能体完成一件事的速度。对客户来说，这意味着任务耗时更短，成本更低。
如果你用 AI 聊天工具提问，却要等十分钟才能得到答案，你自然会希望它一分钟就能答完。Beam 的效率通常是同等能力模型的三到四倍；与市面上更大的模型相比，效率优势更明显，可能达到十倍左右。它之所以这么高效，是因为我们首先高度重视通过预训练为推理能力打下扎实基础，再用大规模强化学习进一步增强这种能力。我们认为，这可能是开源领域迄今最大规模的强化学习训练。至少我还没有看到过公开记录显示有人曾用一万块 GB300 连续跑四周强化学习。
强化学习的目标是让系统用尽可能少的时间发挥出尽可能强的能力。以前的 AlphaGo 等系统也经历过同样的过程。最初的 AlphaGo 在解决问题时，路径还比较曲折，等达到与李世石对弈的水平时，它的搜索已经非常聪明。这才是真正支撑其能力的东西。强化学习做得越多，系统能力越强，解决问题的速度也越快。
主持人： 很棒，这听起来非常务实。
Misha Laskin： 我想，这种直觉来自我们对强化学习的信念。我们始终相信，通向通用人工智能（AGI）的路径，是在非常强的基础之上进行强化学习。人们容易忘记，最早的 AlphaGo 系统也用人类业余高手的棋谱训练过，所以先做了模仿学习，再做强化学习。 因此，这两件事需要相互配合。它带来的一个好处是，你能得到一个真正有经济价值、推理效率很高的模型，成为企业以及公共部门主权 AI 项目非常实用的主力模型。
主持人：从变现角度看，开源模型和开放权重模型都有不同的商业化方式，Mistral 等公司很早就在探索不同路径。你们是否已经在朝某个具体方向推进，有没有可以分享的？
Misha Laskin： 我认为，开放模型与闭源模型的商业化，在某种意义上其实很相似。你真正想做的，都是尽可能扩大推理业务。两者的区别基本上在于你是在租用推理能力，还是拥有推理能力。
举个例子，当你购买一个词元（Token）时，实际上是在租用整套技术栈中的一小部分。这里包括运行框架——如果其中有智能体运行框架的话——还包括模型、推理软件、集群管理软件，以及运行它们的 GPU 等等。所有这些成本都被摊进一个词元里，你租到的就是这一整套东西的一小部分。而当你出于各种原因，希望拥有自己的智能时，我会把它比作住房：我们通常一开始租公寓，随着人生阶段的变化，出于各种原因会想买一套自己的房子，尽管拥有房子有时也挺让人头疼。但当你的经济条件足够成熟，有了家庭等等，你就会希望拥有它。AI 在商业市场已经发展到了一个阶段：企业花很多钱租用智能，然后又出于控制权等方面的考虑，开始希望拥有自己的智能。
回到变现问题，闭源模型和开放模型究竟有什么区别？开放模型的使用许可比较宽松，但客户要真正把它用起来，还需要模型周围的其他所有配套。使用闭源模型时，集群管理软件、推理软件、运行框架等配套通常已经由服务商提供；部署开放模型，同样离不开这些支持。我们为大型企业和主权 AI 客户提供所需的整套工具，帮助他们把开放模型部署起来。但光有工具还不够，大多数企业还需要有人协助落地。因此，我们会深入客户的业务现场，帮他们实现真正有价值的应用场景。而这些场景会带来更多算力和推理需求。这也是我们提供服务的商业逻辑：帮助客户用好开放模型，进而带动推理业务增长
主持人： 如果放眼未来一两年，你认为开放模型和闭源模型各自处理的 Token，大概会是什么比例？
Misha Laskin： 我觉得现在已经能看到趋势了。大约六个月前，在 OpenRouter、Vercel 这样的模型网关平台上，闭源模型占多数，开放模型占少数。而现在，比例几乎正好翻了过来：从闭源与开放七三开，变成开放与闭源七三开。我认为这个趋势只会加速。我猜，未来的格局可能会与操作系统相当接近：全球超过 95% 的服务器和计算机运行在 Linux 这样的开源操作系统上。这不意味着闭源产品没有很高的价值，微软和苹果都是极有价值的公司，开放与闭源各有发展空间，整个市场也足够大。
我认为，大多数 Token 需求会流向开放模型。这里有一个很大的区别：我认为，大量经济价值也会流向开放模型，因为即便模型的使用许可非常宽松，或者带有某种许可约束，运行它所需的其他东西仍然很昂贵。算力依然很贵，这和 CPU 的世界不同。GPU 等硬件加速器，是比 CPU 更昂贵的计算基础，因此需要围绕它们建立一种不同的云。我预期，大多数 Token 会流向开源模型，同时市场上仍会存在极有价值的闭源模型公司，也会有一个很有价值的生态，由开放模型公司及其周围的各类分发商构成。
主持人： 你了解开放模型处理的 Token 中，有多大比例来自经过强化学习训练的模型，有多少来自没有做过这种训练的模型，或者说基础模型吗？
Misha Laskin： 我想，现在每一个公开的开放模型，都在某种程度上做过强化学习。
主持人： 对，我指的是针对某个具体用例或应用做的训练。 也就是定制模型，现在通常是这样叫的。
Misha Laskin： 根据我听到的情况，也就是一些专门为开放模型提供推理服务的厂商引用的统计，绝大多数其实都是定制模型，占比超过 90%。
不过，这里有一个需要注意的前提：今天专用推理服务的最大客户是 AI 原生公司，也可能包括数字原生公司。它们的整个产品，就是对某个开放模型进行的一次大型定制，比如 Cursor、Cognition、Bridge 或 Harvey。这类公司的产品是围绕大规模定制的模型构建的。所以，这个比例并不奇怪：如果推理服务主要面向这类客户，那么它所运行的模型大多经过微调，也就不难理解了。
不过，对于企业市场未来会发生什么，我的看法有所不同。我认为，企业消耗的大多数 Token 将来自定制系统，而不是定制模型。也就是说，你可以先不微调模型，而是基于开放模型搭建一套适合自身业务的系统，比如通过智能体运行框架，让模型用于客户身份核验（KYC）等业务流程。等积累了足够的技术和应用经验，再考虑微调。
所以，我认为企业市场里的比例情况可能反过来。AI 原生公司走过的路径，是先用闭源模型，再转向开放模型，然后进行定制，它们走得非常快。它们从一开始就构建了能收集数据的原生产品。企业则大多是在既有产品和既有工具的基础上设计这套系统，要直接一步到位做微调，中间有很多阻力。因此，我猜企业里的情况会有些不同。
主持人： 那你认为，它们还是会先从最先进的模型，或者闭源模型开始，再迁移过去吗？运行框架会成为它们定制开放模型的方式吗？
Misha Laskin： 我们观察到的确实如此。企业开始考虑开放模型时，通常已经在闭源模型上运行了一定规模的工作负载，而现在和我们接触的大多数企业都在考虑开放模型。我基本没见过有人直接冲到“拥有智能”这个阶段。要成为拥有者，通常得先经过租用的阶段。
主持人： 它得先在企业支出中占据足够大的比例，然后你才会想：“怎样降低成本？这件事足够有价值，我要把它保留下来。”于是再进行切换。
Misha Laskin： 是的。比如，你每年花在闭源模型上的钱超过一亿美元，就会开始考虑：“也许我应该找到一种更优的做法。”
我认为，现在本地部署基础设施重新兴起，是一个很有意思的现象，部分原因是算力短缺。如果你是一家企业，从自己喜欢的超大规模云服务商那里购买服务，经常会发现算力根本不够，也很难拿到合适的价格。但你已经花了这么多钱，于是可能去找戴尔这样的基础设施厂商，说：“我就是想把裸机基础设施搭起来，然后给企业内部提供服务。”接下来怎么办？从裸机到真正做成应用，中间这一层由谁来帮助它们？
主持人： 而你们认为，这就是自己在开放模型世界中的角色？
Misha Laskin： 是的。 我们认为自己的角色，就是帮助企业构建能够成功落地的解决方案，因此我们非常以解决方案为导向。AI 原生公司之所以能够采用开放模型，是因为它们能自己构建解决方案；企业只是在这方面需要更多帮助。真正要做的是走进去，评估最有价值、最值得做的事情是什么。许多企业可能已经基于闭源模型构建了一个覆盖数亿客户的智能体，迫切希望进一步扩大规模，扩展的倍数可能非常高。你很难走进去，只说一句：“我们来给你提供推理服务。”这种做法过去并不奏效。
主持人： 闭源模型生态竞争非常激烈。现在看来，开放模型生态也越来越像是如此。你同意这个判断吗？
Misha Laskin： 我同意。
主持人： 整个领域都竞争激烈，大市场通常如此。那么，从你们自身以及长期定位来看，你认为最重要的竞争维度是什么？
Misha Laskin： 对于一家公司最终如何胜出，我有一个很简单的公式。归根结底，要看你能创造多少可持续的收入，而这个公式是：你能够提供的智能密度，乘以你拥有的算力，再乘以那些愿意与你合作的组织对你的信任。说到底，就是你究竟有多善于解决它们的问题。
这个市场有一个很有意思的地方：算力稀缺，所以很多以前不会构成限制的东西，现在成了限制因素。这也许只是暂时的，但我认为在相当一段时间里，都不能把它当成短期现象。现在，即使几家公司的产品差别不大，但如果手里有足够的算力能满足客户需求，就能做成生意。我认为，整个技术栈的每一层都在竞争。有人会讨论这一层会商品化、另一层会商品化，但现实是，所有东西都在商品化。整个技术栈的竞争都极其激烈，因此各层都会趋向标准化、可替代，模型的利润空间也会被压缩。
开放模型和闭源模型之间的竞争，确实会压缩利润空间；应用层的利润会被压缩，推理层和裸机基础设施也是如此。
主持人：我们看到，很多 AI 原生公司在谈闭源模型合作时，议价态度非常强硬，原因就是开放生态的存在。所以，这确实是明确发生的事情。
Misha Laskin： 是的。对于任何一家公司，你都可以从三个方面理解：向客户提供多高的智能密度，拥有多少算力，以及获得客户多少信任，而这种信任来自它们能够为客户提供成功的解决方案。如果关键就是这三个因素，那么，只要有优秀的开放模型，也就是只要高智能密度的能力能够被广泛获取，就应该会有许多成功的公司。接下来要看的，就是每家公司能组织起多少算力。
现在我们确实处于这样一个世界：如果你非常擅长构建智能，就像那些闭源模型公司已经经历的那样，收入会迅速增长，你也就能比其他人获得更多算力，进而占据战略上的有利位置。我认为，这就是胜出所需的条件：提供优秀的智能，拥有大量算力，并拥有信任你的客户。
中国开放模型惠及全球，美国仍需追赶
主持人： 你怎么看这个问题？回到我们一开始提到的两年前，当时很多开放权重模型或开源模型都来自西方。Mistral 在欧洲开发，Meta 则显然同时有欧洲和美国的背景。过去一两年，我们真正看到了中国开放权重模型的崛起。对于其中一些模型，有一种看法认为，它们大量蒸馏了最先进模型的能力，这也是它们进步如此迅速的原因之一。现在，一些实验室，或者说大型闭源实验室，正在尝试推出工具尽可能阻止这种蒸馏，至少让蒸馏变得更困难。你认为，未来一两年，中国的开源模型或开放权重模型会怎样发展？会维持现在的状态，还是会发生变化？接下来会怎样？
Misha Laskin： 首先，我认为，中国出现了这样一个优秀的开放模型生态，对全世界其实是一件非常有益的事。西方有很多公司正是因此才能建立起更有持续性的业务。从这个角度上看，这是一件非常积极的事，也可以说是一份礼物。试想：如果它没有发生，世界上可能就没有开放模型。那样会出现某种“枪打出头鸟”的现象：如果你是一家应用开发商，做出了很好的产品，它就可能被闭源模型供应商纳入自己的业务，因为对方毕竟也是一家企业，需要创造收入。所以，我对此持积极看法。
不过，我们也不希望任何一个领域形成单极对吧？比如，各种资源和算力都集中极少数几家实验室手里。如果有十家、二十家闭源实验室，还可以说拥有的是一个竞争性的生态；但如果只有一两家，就有点令人担忧。同样，当大家希望拥有自己的智能、在其上构建产品时，你也不会希望这个智能来源只来自一个国家。理想情况下，应该有十个、二十个国家，但资本开支实在太高，所以至少能有两个，就已经很好了。因此，我认为，西方有一个能够与中国竞争的生态非常重要。这并不真正是“西方对中国”的问题。假如所有优秀开放模型都来自另一个国家，而不是中国，你大概也会希望存在一些竞争压力。竞争本身是好事。
我认为，中国的模型会继续保持优秀。它们有一些优势，也面临一些挑战。优势之一是，它们能够借助开源生态提升模型能力；同时，它们在数据获取方面也有自己的积累。此外，这些公司的发展也受益于产业配套的支持。早期阶段，它们的商业化收入有限，但这种情况正在改变。如今，这些公司正在逐步建立可持续的商业业务。它们的模型在海外市场多以开放权重形式发布，在国内市场则更接近商业化闭源服务模式。总体来看，中国模型生态正在形成真实的商业循环，我认为它们仍将持续推出有竞争力的模型。
主持人： 但你认为，它们未来会继续保持开放吗？换句话说，既然现在已经有了经济上的驱动力和商业模式，为什么还要这么做？你认为，它们继续向西方开放模型的动机是什么？
Misha Laskin： 这是一个很有意思的问题。从根本上说，出于多方面的原因，企业、公共部门和主权客户对西方开放模型有很大的需求。不过，也存在监管方面的顾虑，或者更准确地说，不确定性。而且，客户需要的不只是模型，还需要一个能帮助他们运行和提供模型服务的合作伙伴。
我们接触的客户大多是《财富》500 强企业。今天，开放模型在这些企业里的使用比例其实还很低，因为它们出于各种原因，对中国模型有所抵触或顾虑，其中一些原因是理性的，一些则未必。因此，构建这样的模型显然很重要。如果能建立一种可持续的商业模式，一方面赢得企业的信任，让它们愿意与你这个模型开发者合作；另一方面让你有能力获得所需的算力，那么，围绕开放模型开展业务就有了持续的动力
主持人： 我完全同意。一个来自西方的开放权重模型，能够提供增值服务，并随着时间推移提供推理或其他服务，是非常有价值的。我也知道，这是你们正在走的方向。我只是有点好奇，对中国模型公司来说，继续保持模型开放的激励机制是什么？
Misha Laskin： 我的猜想是，中国在某种程度上是一个客户相对受限的市场，所以你可以一边构建开放模型，一边仍然在这个市场里赚很多钱。有一个现象很有意思：在西方，有很多优秀公司自己不研发开放模型，基于已有的开放模型，为企业提供部署和推理服务。我不太清楚中国是否也同样普遍地存在这种模式，按理说应该有。所以这里很有意思，开放模型供应商在那个国家里，似乎也就是智能服务的供应商。 另外，我认为，持续发布优秀开放模型，在地缘政治上对中国非常有利，原因有很多。其中一点是，作为一个国家，你希望其他国家在你的技术之上构建自己的东西。这对美国、中国，以及任何有这种能力的国家都成立。过去，中美在 5G、光纤铺设和“一带一路”倡议等方面，都出现过升级的竞争或紧张关系。归根结底，当你进入另一个国家，提供一种价格低廉的东西，那个国家随后就会被锁定在你的基础设施上。这会给提供方国家带来商业和地缘政治上的优势。
主持人： 所以，我觉得它有点像稀土矿产之类的东西。你掌握了一种别人会用于各种用途的关键组成部分，因此也就获得了地缘政治上的影响力。
Misha Laskin： 是的。我的一种理解是，开放模型就像把配套基础设施带进去的“特洛伊木马”。你拥有一个开放模型，但光有模型本身，用处还不大。于是，你会逐步采用某个国家的整套软件生态和基础设施生态。比如，今天某个美国盟国可能会在美国芯片上运行中国模型；但很快——而且我们已经看到了——华为这样的中国公司会进入这个市场，提供全栈解决方案，然后与那个国家的供应链深度绑定。所以，如果我们把 AI，或者芯片和数据中心，看成铁路那样的东西，它们就是基础性设施。但其他国家无法真正自行建设这样的“铁路”，都必须来找你，或者找另一个国家。作为供应方，你会拥有很强的地缘政治影响力。
主持人： 比如，某个特定模型在某种芯片上进行推理，性能会更好，而这种芯片恰好由华为之类的公司提供，是这样吗？
Misha Laskin： 对。这些技术栈正在实时进行端到端优化，因为从某种意义上说，范式已经确立了。未来可能还会有其他扩大智能规模的方法，但这是第一条已经明确实现大规模扩展的路径，所以现在整个技术栈都在围绕它优化。中国目前的劣势在于芯片性能还不够强，但它有能源方面的优势，而且它的公司非常优秀，在芯片方面也正在追赶。
主持人： 而模型肯定会加速这个过程，对吧？比如用模型设计下一代芯片之类的。
Misha Laskin： 是的，当然。此外，这里面还有一种具体针对美国的地缘政治竞争：美国公司和初创企业建立在外国技术之上，而世界其他地方也都建立在你的技术之上，这件事本身就很有意义。
顺便说一句，美国过去在其他所有重要技术上，其实一直是这样做的，比如互联网、开放协议和开源。世界基本上都在使用美国的货币，美元是被广泛确立的全球货币。自由贸易能够运作，是因为我们有一支遍布世界的海军。所以，这长期以来其实就是美国的做法。有意思的是，在这件事上，我觉得美国在开源方面反而落后了。不过，我们得说清楚：中国的竞争者确实非常、非常优秀，而美国的这个生态才刚刚开始形成。因此，仍然有一些差距需要追赶。
闭源不一定会更安全
主持人： 闭源实验室对开放模型最大的批评，通常围绕安全性和可控性。你在这方面的观点是什么？这种担忧有合理性吗？
Misha Laskin： 有，这当然是合理的担忧。不过，我确实觉得，当前确立起来的那套安全观，是从某一种特定立场、某一种特定视角出发的，而且已经近乎教条。如果我们先不考虑 AI 是闭源还是开放，而是从第一性原理出发，并且能够提前知道这项技术会具备这些能力，那么在考虑安全时，你究竟会怎样从零开始设计它？
可以类比的一样东西是软件。你可以把 AI 看成软件更高级的版本，两者实际上有很多相似之处，它是一种数字化的通用工具。顺便说一句，过去也有过关于软件是否危险的争论，尤其是 20 世纪 90 年代初围绕强加密协议的争论。当时这些协议实际上是封闭的，美国国家安全局与公民自由倡导者之间，一直在争论应该将其封闭还是开放。最终，封闭一侧发生了一些灾难性的失败：少数工程师设计的系统，产生了他们无法预见的意外后果，而且很容易遭到入侵。之后，强加密协议才走向开放，这实际上催生了整个网络安全领域。所以，世界运作的默认逻辑是，开放带来安全。如果我们把 AI 看成技术发展的延续，那么这本应是我们进入 AI 时代时的默认出发点。
模型确实与软件有很多相似之处，但问题会更严重。漏洞的长尾更长，而且模型是一个黑箱，比软件更难理解，漏洞以及由此带来的意外后果也更多。按照 Linux 创始人的“Linus 定律”，只要有足够多的人审视，所有缺陷都容易被发现和解决。我相信，只要有足够多的人参与审视，大多数信息安全和 AI 安全漏洞也会变得容易解决。
今天的现实是，真正了解这些系统如何运作的，是封闭实验室里的几百名安全研究人员。即使他们怀着最好的初衷，也不可能覆盖这些系统所有长尾的漏洞或意外后果。这一点已经表现出来了：如果看已经发生的重大网络安全事件，就会发现，一个非常强大的闭源模型产生了意外后果，入侵了另一家公司。而那家公司唯一能够采取的补救办法，是用开放模型保护自己。这就是我们所处世界里已经发生的事实。
主持人： 顺便问一句，你说的“安全”具体指什么？我感觉，人们经常把不同的安全概念混为一谈，而不同人说的安全，可能是三四种不同的事情。一种是网络攻击方面的安全，比如利用 AI 入侵系统或做其他事情；一种是生物武器或恐怖主义方面的安全，我认为这类风险在短期内往往被夸大了；还有一种是 AI 对人类构成生存威胁的问题。人们常把这些问题混为一谈，但其实可以分开讨论。所以，你说安全的时候，是在同时回应这三类问题吗？顺便说，我并不一定认同这些风险都会在任何现实可预期的时间里发生。我只是想了解，你怎么看开放以及这些方法所能带来的益处，究竟覆盖了哪些问题。
Misha Laskin： 我觉得，AI 安全风险可以放在一条连续光谱上看，从现实中已经出现的问题，到理论上可能发生的问题。我承认，AI 的发展有时确实有点像科幻故事：去年还完全停留在理论上的事情，今年就成了现实，比如这些模型在网络攻击方面的能力。所以，我们不能轻视理论上的风险，但也要分清楚，哪些问题已经实际发生，哪些问题我们有相当把握会在未来六个月内出现。
主持人：对。比如，以前类似的担忧，是第一次引爆核武器时，大气层会不会被点燃。这是一种理论上的恐惧，最后并没有发生，但物理学界的一小部分研究人员确实围绕它反复讨论过。我还记得，人们谈纳米技术时，常常会说到“灰蛊”（gray goo）：你不小心释放了一个纳米机器人，然后它突然把整个世界都吞噬了。20 世纪 90 年代，大家就讨论过这种事。当时实验室里的人还在研究微流控以及类似的东西。
Misha Laskin： AI 的难点在于，它实在太受关注，已经渗透进日常文化，又很容易被拟人化。从公众认知来看，人们对各种安全问题的关注，甚至不是均匀分布的，而是明显集中在末日情景上。实际上，关注的高峰应该落在那些可以着手处理的现实问题上，再逐渐向理论性更强的情景递减。公司领导者如果说“从理论上讲，我们所有人有 10% 的概率会死”，并不会对讨论有帮助，无论从哪个角度都没有帮助。所以，作为科学家，我还是倾向于用分布来思考问题，把重点放在现实上。再往前看六个月，随着系统越来越强，我当然会担心它们的行为偏离预期，带来意想不到的后果。
但我们必须从一个角度出发：这些是通过工程设计构建出来的工具。我认为，有一类公司或研究人员会谈论模型的意识、情感等问题，也许他们说的是真的，但这些东西本身就很难定义，以至于我们并不清楚它们具体是什么。所以，我把它们看成智能工具，并以现实为中心来判断风险。我认为，理论上的末日情景可以作为晚餐时的谈资，但如果说到对齐——它是安全问题很大的一部分——真正的问题是，怎样让这些系统按照预期行事？现实是，迄今为止，对齐研究的实际进展相当平淡，远没有那些宏大设想听起来那么激动人心。不存在什么神奇的对齐方程，它更像是打地鼠，发现一个问题，就解决一个问题。
如果你还记得 ChatGPT 之前的早期模型，有些模型只做过预训练，发布后会输出有害内容。 当时就有一种说法：“这些模型会输出有害内容，没法解决，因为它们产生有害内容的方式太多了。” 但后来发现，只要有足够多的后训练数据，就可以把这些问题逐一修补，而且这种修补还会产生泛化效果，最后让模型变得相当难以突破安全边界。现在，你看到的也是同样的事情。现实中的这些对齐工作，很可能仍然会是平凡而枯燥的：发现一批漏洞，再用相应的数据和算法逐一修补。
而你说的那些用于检测问题的算法，通常也就是让一个语言模型来检测这些问题。所以，一边是理论上的对齐、安全和哲学问题，另一边则是平凡的现实：你只是在修补各种缺陷。那么问题就变成了，难道不应该让十万名研究人员和计算机科学家一起来发现、修补这些缺陷吗？那样难道不会更安全吗？
主持人： 我觉得，这里有一个重要的理念分歧。听起来你站在其中一边，不过我还是想让你明确说出来。即使这些只是非常智能的工具，即使你认为我们能够以整个生态的力量管理它们产生的意外后果，仍然会有人说：我们不希望个人和企业拥有如此强大的工具。
Misha Laskin： 这种说法的出发点就是：我们可以拥有强大的工具，但是——
主持人： 其他人不行，因为我们实际上更优秀，出发点是这个对吧？我们更善于管理这些工具。公平地说，当然我只是转述，并不代表我认同这个观点：他们担心的是，任何个人或公司掌握这些工具后，都可能造成严重后果，但又认为自己可以拥有它们。
Misha Laskin： 这也涉及类似武器那样不同能力层级的问题。美国政府也会向其他国家出售战斗机。不过，通常而言，要拿到一个模型，尤其是一个已经接受过安全训练的开放模型，再投入算力、工作和精力，把它变得非常危险，并不是那么容易。
我不是说不可能。但再想想网络安全，非常聪明的黑客确实能够造成严重破坏，而且他们已经这样做过。与此同时，我们也有一个防御力量通常能够压过攻击力量的生态。如果我们再次把它作为默认出发点——人们就是这样保护软件的，互联网里既有善意参与者，也有恶意参与者——那么最终，互联网就像一个拥有大量白细胞的生态。让更多人具备防御能力，实际上有助于抵御攻击能力。确实如此。看看已经发生的现实情况，就会发现网络防御和网络攻击很难分开。因此，当你移除网络攻击能力时，也会一并移除网络防御能力，结果就是，那些本来愿意参与防御的人，也失去了防御的能力。
最近一些事情就让我们看到了这一点，比如 OpenAI 与 Hugging Face 的那起事件，他们最后转而使用开源模型。
主持人： 因为现有前沿实验室给模型设置了防护限制，导致他们无法使用那些模型，就是施加在模型上的那些限制。
Misha Laskin： 是的。我觉得，这些论证往往会走向非常绝对的立场，仿佛是在说：这些东西太强大了，除了我们，永远不应该让任何人使用。但现实从来不是这样。除了极少数确实没有多少正面用途的特殊例外，很难想到这种绝对化的观点曾在哪些情况下真正奏效。
科学发现加速之后，研究人员的工作将如何变化
主持人： 如果把目光投向未来两到五年的 AI 世界，你最期待什么？现在确实很难预测，但沿着技术发展和应用普及的轨迹向前看，你认为会有哪些值得期待的积极变化？
Misha Laskin： 会有很多积极的事情发生，而且它们已经在发生了。比如，我个人对科学进步非常兴奋。我们移居美国之后，我开始接触科学，后来又对物理学着迷，从那时起，科学就成了我一生的追求。过去几年，我一直用同一个问题来测试语言模型：把我的博士论文交给它。当然，找到一个适合博士论文研究的问题，本身就占了很大一部分工作。但真正执行那些例行的计算和研究，同样要花很长时间。总体而言，从找到正确的问题，到完成解答，我的博士研究花了好几年。
过去几年，我反复把与自己论文有关的这个提示交给语言模型。两年前，它还只是会聊天，什么也做不了。一年前，它开始能够给出本科生水平的回答，如果我本科时遇到这道作业题，大概也会这样作答。六个月前，它已经能以真正的博士水平解决这个问题，而且答案是正确的。 现在我再试，它甚至会给出一些我当年没有考虑过、很有意思的新信息。只要你问对了问题，就可以把它输入聊天框，让它完成全部计算，并给你一些真正有意思的结果。
主持人： 这太令人兴奋了。
Misha Laskin： 对。这意味着，迭代速度已经改变了。为什么还需要好几年？一个要花好几年才能完成的博士研究，意义在哪里？你现在一周就能完成博士研究了。
主持人： 有点像 OpenAI 最近的新闻，我想就是过去一两天的事：过去几周，OpenAI 证明了各种数学定理。现在发生的事情，确实有点不可思议。
Misha Laskin： 是的，这给科学带来的变化绝对令人惊叹。我尤其期待，这些进展不仅能推动在“一块黑板”上开展研究的理论科学，也能惠及需要在现实世界中进行实验的生命科学、材料科学和化学等领域。
我认为，有很多地方可以让 AI 与真实实验对接，建立专有数据的反馈循环。它会慢一些，比在黑板上推演的问题慢得多，但仍然会比过去快得惊人。我也认为，我们一直在低估，这对软件工程已经造成了多么巨大的改变，以及如今我们能多做出多少东西。在很多方面，AI 已经是一种非常了不起、非常积极的工具，甚至对蓝领工作也是如此。几周前，我参观了 Stargate，最让我印象深刻的，是停车场里的汽车数量。那里有非常多的人在工作。这些数据中心项目创造了数以万计的高薪工作。在我看来，现在的数据中心，有点像过去的工厂。
20 世纪有铁路和工厂。也许一座制鞋厂，就能让一座小镇形成充满活力的经济。至少，当我去现场看这些正在建设的项目时，发现人们虽然对数据中心有所担心，但真正到现场就会看到，它们确实为当地社区创造了很多就业机会，也带来了大量税收。当然，有些事情需要非常妥善地处理。它们会产生噪声，所以需要做好隔音，或者把它们建在远离住宅区的地方。但有一点是确定的：对地方经济来说，这些设施能创造就业、带来税收；单就创造工作机会而言，真的很像过去的工厂。
主持人： 从现在往后，你们如何安排科学研究和实验工作？假设你们也在用模型本身来改进训练工作，那么，在这个过程中，今天的研究团队扮演什么角色？
Misha Laskin： 我们的研究安排，有很大一部分由我的联合创始人 Ioannis 负责，他负责研究、技术以及其他一些事务。现在有很多我们已经知道有效的东西，还没来得及放进去，纯粹是时间安排的问题。我们在七月份拿到 SpaceX 的集群后，用它训练最终模型，先进行了几周预训练，之后在我们这边做了几周合成数据相关的工作，然后就发布了。还有很多让我们很兴奋的东西，没有赶上这次发布。
在研究安排上，需要在两类事情之间取舍：一类是把已经知道有效的东西谨慎地落实好，或者做风险相对较低的尝试；另一类是去押注风险更高的方向。你应该先把那些已经知道有效、而且影响很大的事情尽量做完，然后再逐步扩大可以承担的风险范围。具体做法是，通过小规模实验研究规模扩展，再判断风险。有意思的是，有些现象不到大规模根本不会出现。所以，是继续投入更多算力、看看下一步会发生什么，还是转去尝试下一个想法，这个决定既有科学的一面，也有经验和判断的一面。
至于让模型参与研究循环，我觉得它确实给研究人员带来了很大的帮助。过去一个人需要花很长时间才能完成的工作，现在可以更快地完成。不过，这些模型的能力仍然参差不齐，因此需要判断，哪些工作适合让模型形成持续反馈、反复迭代的闭环，哪些环节仍然离不开人类的创造力。好在经过一段时间的使用，研究人员就能逐渐摸清模型的能力边界，知道哪些任务可以交给它自主尝试、不断改进，哪些仍然需要自己参与。这种判断并不难形成，一旦找到适合模型自主迭代的任务，就可以放心让它持续运行。
尤其是在超参数搜索，以及一些更细碎的基础设施任务上，它们都能帮上忙。我确实觉得，这些工具非常令人兴奋，因为它们能让科学家更充分地发挥自己的直觉。这有点像拥有一个动作非常快、干劲十足，而且确实愿意听你意见的同事，前提是它得到了正确的对齐。
所以，在我看来，研究人员只是获得了更多能力，能比过去快得多地推进工作。这也解释了，为什么以前完全靠人工时，每年的改进速度大约是七倍，而现在可以在这个基础上再快几倍，比如四到五倍。对于研究人员来说，拥有这样的工具确实令人兴奋。当然，也就产生了一个问题：到了什么时候，研究循环里不再需要研究人员？
主持人： 我正想问，如果今天需要一百个人，明年完成同样的工作，是不是只要二十个人？
Misha Laskin： 如果是同样的工作，是的。但我认为，你能做的事情的目标会不断扩大。所以，我们一直觉得人手不足，而不是人太多。你仍然要考虑人员与算力的比例，也不是说人手可以无限增加。我不认为三千名研究人员会有多大帮助，但几百名研究人员会非常、非常有帮助。
主持人： 对。我听到过一种论点：考虑到每个人需要分配到多少算力，尤其像你说的，如果还想随着时间推移，扩大某些实验的规模，再加上不同人的贡献往往存在一定的分布差异，最后可能会得到这样的结果。换句话说，在任何领域，从想法贡献来看，往往都是少数几个人贡献最大，对吧？物理学、生物学，什么领域都一样。于是，最后就会倾向于把每一份新增算力，都分给生产力最高的那一小部分人。因此，随着时间推移，研究人员数量可能会保持不变，甚至减少。如果把这个论点推到极端，最终大概就是这样。
主持人： 我不是说它一定正确，只是说我听到过这种观点。
Misha Laskin： 这个论点确实有道理。事实上，这些项目从来就不需要多得离谱的研究人员。像 AlphaGo 这样的项目，当时可能也就是十个人左右。现在，像我们这样的较大项目，可能是一百人，或者几百人这个量级。所以，从来都不是说，你需要特别庞大的人数。至于最后会不会重新缩回十个人，很难说。我估计，可能会在一百人左右形成某种稳定状态，因为要做的事情实在很多。另外，在应用研究方面也会创造很多工作机会，也就是把这些东西真正拿去解决现实问题。
主持人： 我觉得，人们讨论工程和研究时，经常忽略这一点：这些岗位会扩散到社会中更广泛的领域，而不只是用来构建语言模型。就像你说的，还有很多其他类型的模型需要构建，也有很多闭环系统需要构建。即使谈到工程师，以及他们可能被替代的问题，目前的证据似乎也是，许多公司需要更多工程师，而不是更少。同时，具备一定水平的工程师也会走向更多组织，真正部署这些技术，而那些组织过去根本无法获得这样的人才，至少相对而言，它们无法获得这种水平的人才，更别说获得大量的人才。所以，我确实觉得，人们思考经济问题时，经常漏掉这一点。他们把目光集中在少数几家大型科技公司，而不是问：“整个经济的国内生产总值（GDP）是多少？当越来越多的人把这项技术带到各个地方，它又会怎样发生变化？”
Misha Laskin： 我认为你说得对。这些年来，完成这类项目所需的研究人员数量，并没有发生特别大的变化。一直都是：一个大项目，大约一百人。我不觉得一个大型项目需要几千人。但如果面向不同的产品形态，可能就需要不少人。有意思的是，如果你仔细看，为什么甚至需要几百个人，会发现很大一部分原因，是你要有不同团队，为不同任务做评估、收集不同数据。这些模型具备某种能力，并不是偶然发生的。会有五到十人的小组，专门去攻克某一项能力；仅仅编程这个领域，就有五到十项不同能力。这些工作是为了让模型具备通用能力。
但当你想把模型拿去解决现实世界的问题时，基本上每一项现实能力都需要一个小组来做，而每家企业又都有许许多多这样的需求。因此，我认为，这将创造一种新的前线部署工程师（forward-deployed engineer）岗位。这种工程师更偏向科学方法和评估，对模型及其运行框架有一定的直觉——这其实就是评估研究人员在做的事情，对吧？他们需要的技能，实际上和构建核心模型的研究人员一样，只是被部署到了真实问题上。这样的人，有多少我们就需要多少。真正的缺口更多在培训：你需要把工程师培养成擅长做这些事情的人。今天，只要有这样的人，我们愿意尽可能多地招进来。
主持人： Misha，祝贺你们做出了第一个跻身前沿水平的西方模型。这对整个生态来说，确实是向前迈出的一大步。 谢谢你来参加我们的节目。
Misha Laskin： 谢谢。