首页 > 资讯 > 魔法原子具身Agent框架拿下MolmoSpaces全球第一

魔法原子具身Agent框架拿下MolmoSpaces全球第一

量子位 2026-10-13 19:05 7 阅读 查看原文

近日,在由艾伦人工智能研究所(AI2)发起的全球权威具身智能零样本评测基准MolmoSpaces最新榜单上,魔法原子旗下面向通用机器人操作的VLM Agent框架EchoPolicy-0以75.4%的机器人操作平均成功率位列MolmoSpaces Combined榜单全球第一,覆盖全部4个v1任务。

同一榜单、同一分组下,魔法原子自研具身智能Agent框架MagicBrain凭借3.4B参数规模,以72.4%的机器人操作平均成功率位列MolmoSpaces Combined榜单全球第四,其抓取成功率达到94.4%,远超行业平均水平。

MolmoSpaces榜单是目前全球具身智能领域最具公信力的零样本评测基准,面向操作、导航与更长程的具身任务。MolmoSpaces生态包含超过23万个室内环境、约13万个物体资产,为评测提供了丰富的变化来源。机器人需要面对超出固定演示环境的情况,在不同背景、几何结构与物体分布下寻找目标,并根据局部条件完成任务。

同时,MolmoSpaces包含可移动的刚体物体和带关节的交互对象,机器人不仅要在图像中找对目标,还必须通过真实的仿真接触改变对象状态,让机器人的作业任务具有实质难度。

MolmoSpaces的基准明确给出初始场景、机器人与相机配置、任务指令和成功条件,完整清单、统一计分与公开结果能够把零散演示转化为可比较的数据。魔法原子EchoPolicy-0与MagicBrain框架参与的四项务分别涉及自由物体抓取、关节物体交互和多阶段操作,从不同侧面考察具身智能Agent框架的系统能力,而不是只看一个单项指标。

2026年以来,具身智能正从演示阶段走进真实产线,竞争重心上移到机器人的“大脑”——具身智能大模型。随着机器人运动控制能力快速提升,机器人的身体更灵活、更耐用,大脑的实际应用也随身体边界的打开而快速演进。相应地,市场的研究方向正在转向:如何完成更复杂的任务,如何快速上手新任务。MolmoSpaces的评测,也同样关注具身智能大模型的泛化能力。

魔法原子研发实验室MagicLab Studio负责人表示:“在具身大脑路线的选择上,我们认可分层架构这种方式,并发现指令遵循能力是当前模型在通用任务上遇到的一个难点。EchoPolicy通过Agent框架及轨迹打分的方式来保证指令遵循能力;MagicBrain通过端到端视觉引导的方式来优化指令遵循效果,两者均取得了较好的结果。”

EchoPolicy-0 :让机器人多任务共享一套思考与行动方式

机器人要完成一项任务,需要把语言目标、视觉观察与物理动作持续连接起来。例如抓住物体之后,要判断是否真的拿稳;打开柜门之前,要找到可交互的位置;一次动作没有达到预期,机器人需要根据新情况调整计划。

这些动作看起来不同,但属于具身智能机器人跨任务需要面对的共通问题:目标在哪里,当前状态是什么,应该调用哪种能力,动作是否达到目的,以及失败后如何继续。

魔法原子MagicLab Studio围绕这些跨任务共通的问题,将视觉语言模型、几何操作工具与通用动作策略组织为统一的VLM Agent框架EchoPolicy-0 ,让观察环境、理解目标、选择能力、执行动作,以及观测验证结果形成闭环。不同任务共享这套机制,具体的接触和运动由相应执行器完成。

EchoPolicy-0框架研发负责人表示:“ EchoPolicy-0的通用性体现在让能力能够被统一调用、组合和验证。 EchoPolicy-0当前版本已在Franka单臂平台上完成四类操作验证。”

在VLA的使用方式上,魔法原子MagicLab Studio引入了VLM目标引导的多候选轨迹选择:让动作模型先提出多种可能的运动,将候选投影到图像平面,再依据VLM指定的目标选择更匹配的轨迹,并在执行后持续验证。高层视觉理解由此参与低层动作选择,而不仅停留在任务分解。

EchoPolicy-0框架在MolmoSpaces的四项操作任务上完成了3915局全量评测,取得了75.4% 的四项任务等权平均成功率,截至2026年10月13日,位列MolmoSpaces Combined榜单球第一。

魔法原子MagicLab Studio将EchoPolicy-0框架在MolmoSpaces上的四项评测视为统一框架的一次系统验证,同时用逐局结果指导后续迭代。EchoPolicy-0展示了一条面向通用机器人操作的系统路线,统一Agent框架能够组织不同类型的操作能力:由VLM Agent组织语义目标和任务状态,由几何工具提供可检查的空间交互,由通用动作策略生成候选,通过VLM目标引导的轨迹选择约束动作方向,再由持续验证把它们连接起来。

EchoPolicy-0针对具身智能模型落地场景,回答了一个问题:模型提出来的动作,怎么保证选的是对的那一个。 它不改模型的输入,而是在模型给出的多套候选动作里,按视觉目标筛出更匹配的一条,并在执行后持续验证。对下游客户而言,这条路线的价值不在单点成功率上——新增一类任务时,不必再从零搭一套系统,只要把能力接进同一套框架即可。

自研大脑:MagicBrain让模型能“看见” 从“演示可用”逼近“产线可用”

具身智能Agent框架MagicBrain来自魔法原子MagicLab Studio ,在MolmoSpaces的抓取、抓取放置、打开与关闭四项操作任务上, MagicBrain完成了3915局全量评测,四项v1任务平均成功率全球第四。其中,抓取(Pick-v1)、抓取放置(Pick & Place-v1)两项任务均拿下了所在任务榜单的全球第一,抓取任务成功率更是高达94.4%。

视觉-语言-动作(VLA)是当前具身智能领域备受关注的一类模型架构,其语言跟随能力是行业内一个由来已久的共性问题。让模型执行“把苹果放进篮子”这类指令,包含了两件对它并不容易的事:先理解“苹果”这个名词,再在像素层面找出哪个是“苹果”。

魔法原子MagicLab Studio在研发测试中发现,抓取失败的案例里,绝大多数不是动作执行不稳,而是抓错了对象,或者放错了位置。换句话说,VLA在动作学习上已经足够强,真正的短板在把名词短语绑定到图像区域,这也是它训练信号最稀疏的一环——想抓“苹果”却抓成旁边的“梨”,错不在手,而在眼睛。

实际上,VLA对视觉信号的跟随能力,强于对语言指令的跟随:“听懂话”是VLA的短板,“看懂图”才是长板。为此,MagicBrain采用了一套被称为In-Context Visual Guidance(上下文视觉引导)的技术路线,VLA只负责做动作,找目标这件事,交给更擅长看图的VLM Agent。

未来,这套视觉引导技术也可以迁移到交互等更多场景——毕竟,给模型“画”出该看的东西,不只适用于抓取。MagicBrain提供了一个更省力的分工范式。语言说清“做什么”,像素说清“是哪个、在哪里”,把两路信息各交给擅长的模型,它没有引入新的模型结构,没有堆砌更大的参数量,只是重新排布了信息的传递路径。

“我们在VLA理解语言的基础上,让它进一步去‘看见’,并且知道该看什么”,魔法原子MagicLab Studio负责人表示,这一技术路线不依赖提升参数规模来换取大模型性能,此次参与评测的模型参数规模仅为3.4B。

这意味着,任何具备基础数据能力的团队都能低成本复现,不卷模型大小也能拿到增益——在具身智能走向规模化的路上,“组合而非全能”的分工思路,或许比“一个模型通吃”更接近现实。

行业层面,魔法原子回答了一个备受关注的问题:VLA到底能不能用得起、用得上。抓取与放置是具身智能从实验室走向真实场景的高频基础动作——工厂分拣、仓储搬运、家庭整理都依赖它。抓取成功率从此前70% 到94.4% 的跨越,意味着VLA正从“演示可用”逼近“产线可用”的临界线。对行业而言,每一点成功率提升,都在扩大可商业化的场景边界。

魔法原子的 “具身大脑” 设计哲学

“在MolmoSpaces榜单上拿到了全球第一,但魔法原子关心的,是榜单背后那个真正的问题:具身智能机器人的大脑,到底应该怎么长,长在哪里。”魔法原子MagicLab Studio负责人表示。

魔法原子认为,具身智能应沿着分层协同的技术路线推进:由上层模型负责理解、规划与纠错,由底层模型负责将任务意图转化为可靠的物理动作。

上层模型要承担视觉理解、任务分解、规划决策、错误修正和记忆管理。目前前沿基础模型在这些方面已有较好基础,但仍需针对具身场景中的空间关系、物理约束和持续交互做适配。上述负责人认为,行业短期应重点建设围绕模型运行的Harness,将上下文管理、工具调用、执行反馈和评测机制组织起来,并探索以反馈驱动的迭代优化,包括RSI方向;长期则需要依托真实场景数据开展自主训练与后训练,逐步增强模型本身的具身理解和决策能力。

该负责人表示,承担动作生成与控制执行的底层模型,可以采用VLA、WAM或其他混合架构。架构选择应服务于实际任务,重点考察指令遵循、动作精度、执行效率及泛化能力。

目前,分层架构本身在行业内已被广泛讨论,其中一个关键问题仍未得到充分解决:上层的任务意图,如何被底层准确理解并稳定执行。

魔法原子MagicLab Studio在实验中发现,现有动作模型在分布外(OOD)场景下仍容易出现目标选择错误、空间约束理解偏差等情况。为此,团队尝试了两种互补的解决思路。

第一种是本次拿下MolmoSpaces榜单第一的EchoPolicy-0,通过Agent调度、候选选择和闭环验证,提高执行与指令的一致性。其中,上层模型将任务分解为明确的子目标,系统对底层模型生成的多条候选动作轨迹进行评估,选择更符合当前指令的候选;执行后,再依据新观测判断进展,决定继续、重试、重规划或回退,并按需调用几何工具完成特定操作。

这一技术路线的优势在于可以在不重新训练底层模型的情况下,通过改进调度、选择和验证机制快速迭代,提升已有模型的任务完成能力。

MagicBrain的思路是通过显式视觉引导和配套训练,提高动作生成阶段的目标对齐能力。

其中值得借鉴的是上下层之间的视觉引导机制。MagicBrain将上层识别出的交互目标、放置区域以及短期运动历史,以视觉标记的形式注入底层模型的观测,让任务意图直接对应到图像中的具体位置。该方法无需改变VLA的网络架构,通过配套后训练,使模型学会将视觉标记与操作语义、动作行为联系起来,从而降低仅依赖语言指令时的歧义。

两种思路分别作用于“动作生成”与“执行、选择、验证”两个环节,具有较强的互补性:视觉引导帮助底层生成更符合目标的动作,Agent调度则负责选择、执行、检查和纠错。

此次EchoPolicy-0拿下第一、MagicBrain拿下第四,两条路径的有效性都得到了验证。

谈及未来,魔法原子表示:“下一阶段,我们将进一步探索二者结合,形成从任务理解到物理执行的完整反馈闭环,并进入真实工业场景,持续检验任务成功率、运行稳定性和部署成本,并在这一过程中完善数据与模型平台。将经过验证的能力沉淀为可复用的技能模块、标准接口和解决方案,同时系统积累成功、失败及人工纠正数据,建立“部署—采集—训练—评测—再部署”的持续迭代机制,推动工程经验转化为基础模型能力。”