首页 > 资讯 > 具身记忆赛道持续升温，长记忆迎来新 SOTA

具身记忆赛道持续升温，长记忆迎来新 SOTA

雷锋网 2026-10-22 10:19 4 阅读查看原文

IROS 2026 最佳论文启示录：没有长记忆的机器人，终将被淘汰。

作者丨邓哲敏

编辑丨齐铖湧

本月初在匹兹堡闭幕的 IROS 2026 将最佳论文奖颁给了 LT-Mem，这项研究让机器人重访同一空间时，能完整保留每个物体的位置变迁史，而非仅仅记住最新一次看到的样子。评委会从近两千篇收录论文中选中它，想必不仅是认可其扎实的工作，也是代表学界宣告：具身长记忆（long-term embodied memory）已经从一个工程补丁，变成了机器人领域公认的科学问题。

从实际角度考虑，通用机器人要规模化落地，需要以小时、天乃至周为单位持续运行，而不只是几分钟。没有长记忆，每次相遇都是初次见面，机器人只是一个个孤立的单次动作执行器；有了长记忆，它才能从一次性工具变成可以长期上岗的同事。

但解决这件事远不是扩大上下文窗口那么简单：持续涌入的多模态数据既无法全部存储，也无法全部检索；现实世界还在不断变化，新的观察既不能简单覆盖旧的，也不能无序堆叠；更棘手的是，一条错误的记忆会在之后的决策里被反复调用，错误由此层层放大。记忆如何写入、如何留证、如何纠错，都是需要被正面回答的问题，靠调几个工程参数解决不了。

AI科技评论（雷峰网公众号）注意到，在这一方向被顶会加冕的数月前，国内具身初创公司贝塔无限就已坐上牌桌。今年五月，贝塔的联合创始人陶帅在采访中明确表示：长效、多模态、时空记忆的缺失，是他们首先要重点突破的方向。随后，团队陆续发布 BetaMem 全时空多模态记忆架构、世界动作模型 BetaWAM 0.1、首款机器人多米。10 月 20 日，团队把 BetaMem 的写入学习、证据管理和自我改进机制写成了系统的方法与实验，挂上 arXiv。

论文交出的成绩单颇为亮眼：BetaMem 采用 9B 开源模型生成记忆，在 M3-Bench-robot、LoCoMo、OpenEQA 和 EgoLifeQA 四项代表性记忆基准的对比评测中均取得 SOTA 成绩。尤其在串联多次观察中的线索、回忆长时间跨度的事件、识别个人习惯等任务上，BetaMem 展现出明显优势——这些能力，正是机器人进入生活、持续积累对人与环境的了解所需要的。

LT-Mem 从多会话建图切入，把问题收窄到干净、可评测；BetaMem 则从记忆如何形成、如何验证、如何从失败中学习的系统视角，搭建完整的记忆底座。一边是顶尖学术单点攻坚摘得顶会桂冠，一边是国内团队以产业落地为目标搭建完整记忆底座，学术和产业在此交汇，足以证明长记忆是整个领域正在收敛的核心方向判断。

记忆这道题，学界做到哪一步

围绕机器人长期记忆，学界探索了许多方法。按年份罗列意义不大，AI科技评论（雷峰网公众号）想换个角度，看记忆回答了什么问题，还剩什么没回答。

第一类关注空间侧的记忆，也就是“这里有什么”。Hydra、ConceptGraphs 等三维场景图把物体、地点、房间组织成可被语言查询的关系网，Khronos 把时间引入动态环境建图，DynaMem 让移动操作机器人在物体被挪动后继续更新记忆，真机上对非静止物体的取放成功率平均达 70%，是静态系统的两倍以上。这一支空间关系清楚，但记住的主要是当下这一版世界长什么样。

第二类关注检测类的记忆，也就是“我见过什么”。ReMEmbR 把长时导航视频建成可检索的时空记忆，供智能体推理。但检索按相似度排序，取回的是过去的信息。五分钟前桌上确实有杯子，现在还在不在呢？检索不负责回答。

第三类关注变化侧的记忆，也就是“它变了没有”。LT-Mem 正是这一思路。论文把现有系统的毛病命名为“时间性失忆”：要么用新观测覆盖旧状态，要么存下语义快照却没有跨次访问一致的物体身份。它用一个随物体习性变化的易变性分数，决定新观察该覆盖、保持还是并存。作者也坦承局限：测试只覆盖两个室内加一个室外场景、各 10 次访问，外观相似物体的身份关联依然困难。

第四类关注操作侧的记忆，也就是“我做到哪了”。MemoryVLA 指出主流 VLA 普遍忽视时序上下文，补上工作记忆与记忆库后，长时程任务真实成功率比最强基线高出 26 个百分点；MEM 用视频承载短时记忆、自然语言承载长时记忆，可跟踪长达十五分钟的任务，同时提醒，设计糟糕的记忆会因放大虚假相关而损害性能。

四支各答一问，拼在一起，仍然有三道题敞开。其一，空间侧与操作侧各自生长、很少碰头，前者可以跨周存在却不进入手的动作，后者进了动作但寿命以分钟计。其二，写什么、留什么、何时核对，多靠人工设计，文本 Agent 已用强化学习学会管理记忆，具身记忆还缺同等成熟的做法。其三，记忆能否追溯到证据？多数系统存的是描述，原始画面和声音在摘要之后就找不回来了。一条记录凭什么可信、出错后怎么复查，家庭场景里迟早被用户问到。

有意思的是，学界目前分散留下的这三大空白，贝塔无限的 BetaMem 方案给出了一套完整对应的解法。

从记住钥匙的去向到主动寻找并重新确认——BetaMem 将记忆构建、检索验证与规则改进串成完整流程

把记忆做成一份有出处、

有保质期的判断

BetaMem 的出发点，是把记忆看作机器人对世界的判断，而不是一份日志。

论文把它落成三个互相关联的结构：时态状态图，记录现在认为世界是什么样；只追加的事件日志，记录状态是怎么变成这样的；有限容量的源数据档案，留存选定的原始图像与音频。三者共用实体、事件和来源标识。档案容量有限，哪些原始画面整帧保留，哪些裁剪、降质或删除，要在存储与读取预算下权衡。

这样拆，等于把证据和状态分开。用法庭作比，证据是案卷，状态是判决，判决可以改判，案卷不能涂改。只存证据不估状态，系统知道看过什么，却说不清现在是什么样；只存状态不留证据，一次误判会被固化，出了错也无从归因。

每条状态记录除内容外，还带着空间上下文（所在地点或容器、坐标系、地图版本）、置信度、来源和版本号，并标明状态：已观察、推断、冲突、过期或未知。时间分成三种：所述事情的有效区间、看到它的时间、写进记忆的时间。转变时间不确定就记成区间，超出直接观察的内容一律标为推断。这像一本带出处和保质期的台账，事后纠错不会丢掉原始拍摄时间。

在此之上，记忆分为六层。L0 工作记忆装当前观察、任务阶段和动作历史；L1 空间、L2 实体、L3 情景三层互相引用，一次情景中的状态转变可以修订实体状态，并通过 L1 挂到具体的地点和地图版本；L4 经验记忆沉淀规律，L5 程序记忆存放任务前置条件、可调用技能、预期观察和恢复分支。事件日志和源档案贯穿六层，记忆经过整合与修订，出处也不会丢。

以论文里的钥匙为例，拿起、交接、放入是三个独立事件，各自记录执行人，并链接到带时间戳的画面和音频；语音转写保留说话人，并链回原始音频。检索时，机器人分得清谁拿到了钥匙、谁把它放好，也分得清说出口的打算、转述的结果和亲眼观察到的变化。

写入同样有门槛。每段观察先登记来源和采集时间，再切成窗口；模型输出带来源引用的实体、关系和事件提案，经外观、位置、时间连续性与已有身份比对，拿不准的就保留多个候选假设。提交前，还要核对来源证据、时效范围和所用记录的版本。通过后追加一条事件、更新状态，旧状态留在历史里。

其中最关键的一条原则是，历史记录只是搜索线索，不是现状证明。钥匙最后一次是在抽屉里被看到的，机器人据此去抽屉查看，拿到新观察后，才追加新版本的状态。现在的真，要靠现在的观察来确认。

这套思路与 LT-Mem 保守更新的逻辑相通，覆盖面更大，状态里不只有物体的位置，还包括任务进度、容器开合和动作结果。陶帅曾公开表示，记忆系统能复用他此前在千人千面推荐系统中积累的经验。把推荐系统处理不确定性、漂移偏好、过期判断的成熟范式迁移到机器人时空记忆，是一个很巧妙的跨界迁移，也让 BetaMem 的底层设计自带一套经过产业验证的不确定性治理思路。

让同一份状态进到手里

如果状态只服务规划器，仍然停在前文说的缝隙里。贝塔无限的做法，是让模型、Agent 和动作三层读取同一份状态，各取所需的时间尺度。BetaMem 与世界动作模型 BetaWAM 同在统一大脑 BetaBrain 内，原则是分工保留、状态共享，否则规划、控制和预测各缓存一份世界，会越走越偏。

动作层需要两种记忆。

一种是短时的动作与感知记忆。机械臂伸过去的一瞬间，目标常被自己的手臂遮住。拧瓶盖要转好几圈，如果只看当前几帧，机器人将分不清拧到第几圈。BetaMem 把这次操作到现在发生了什么，压成少量持续更新的变量，包括执行到哪个相位、目标最后确认的位姿、近几次接触的力反馈。小偏差在这一层消化，超过阈值才写回任务状态，触发重试、换技能或上报。

另一种是跨回合的物理经验。柜门要先抬再拉，玻璃杯外壁有水很滑，这类单次交互学到的常识，通常随回合结束就丢了。BetaMem 把它们写成对象级、环境级的可复用条目，供动作模型调用，再沉淀进策略。这恰好对上前面说的缺口，让记忆跨过回合的边界。

动作做完之后是验证。世界模型先依据记忆中的完整状态，包括此刻看不见但先前确认过的部分，预测动作后的结果，验证器再与视觉、力觉、位姿等真实反馈比对。误差可接受就提交检查点，局部偏差退回动作循环，假设失效则回到 BetaBrain 重新规划。多大的误差算异常，不靠人为设定阈值，而是从该物体、该动作的历史偏差里学出来。

让记忆越用越好

机器人出了错，可能是动作没做好，也可能是关键线索没写进去、召回时机不对、过期状态没纠正。只按任务成败更新动作模型，记忆的毛病会留着。

贝塔无限把记忆策略和行为策略放进同一个反馈框架联合优化，奖励同时看任务完成、关键证据覆盖、状态一致性、失败恢复、用户满意度、执行效率、长期收益和安全风险八件事。这套联合优化框架跳出了只优化动作的常规思路，把记忆本身变成一个持续学习、持续进化的模块，是极具创新性的一步。

新发布的论文展示了 BetaMem 的两项关键设计：让小模型学会形成可靠记忆，让记忆策略能够从任务失败中持续改进。

在记忆形成上，团队通过监督微调与 GRPO 强化学习，训练小模型关联当前观察与历史信息，记录对象状态及其变化。奖励依据来自多次独立记录和原始画面复核：有证据支持却容易遗漏的线索获得更高权重，编造、歪曲和错误关联受到惩罚。由此，记忆的完整性、真实性与时序一致性，都成为具体的学习目标。

在策略改进上，贝塔无限设计了由失败反馈驱动的记忆策略递归自我改进（RSI）机制。系统追踪一次失败涉及的信息保留、检索和时效判断等环节，提出针对性的规则修复，再保持基础模型与机器人控制器不变，通过独立回放检验修复效果。通过验证的策略用于后续任务，新的失败再推动下一轮迭代，让任务经验逐步沉淀为可复用的记忆管理策略。

BetaMem 根据失败线索定位问题，提出局部修复，再经独立回放评估决定是否发布

这套版本化、可回滚、带灰度测试的记忆主动迭代流程，在具身智能领域非常少见。绝大多数记忆系统规则写死，一旦上线很难安全迭代，而贝塔无限把软件工程里稳定可靠的发布治理思想引入记忆进化，规避了自我进化容易失控的风险。毕竟，没有回放门控的自我进化，本质上是用新错误替换旧错误。

成绩单如下，以下结果均使用 9B 开源模型 Qwen3.5-9B 生成记忆。

该表由AI科技评论制作，数据来源于论文中表3-6

分项里最值得看的，是需要串联多条记录的题型。M3-Bench-robot 上，多细节、多跳和人物理解三类题，分别领先最强参照 15.96、23.51 和 27.93 个百分点。这与它把记忆组织成带身份、时间和来源的记录的思路吻合，答对这类题需要的是一条证据链，而不是几张相似的画面。

消融实验同样有说服力。去掉与原话关联的来源证据，M3-Bench-robot 准确率从 48.08% 掉到 38.61%，损失 9.47 个百分点。写入学习的效果也很具体，生成的写入动作符合记忆库规则的比例，从 50.9% 升到 86.2%，超过教师模型的 72.0%，每条入库动作消耗的输出 token 从 224 降到 118，减少 47.3%。

论文也坦陈了一些短板，但我们看重的是它的方向。把记忆做成可训练、可追溯、可回滚的系统，并拿出了可复核的数字，这已足够亮眼。

走进家庭，想象空间在哪里

结合家庭场景的特征，我们更能体会到贝塔无限方案的精心设计。

第一个特征，是多变化。家庭不可能像工厂一样设置严格的 SOP，物件不会各归其位。钥匙昨天在玄关，今天在抽屉，明天被孩子带进房间。贝塔无限把证据与状态拆开，让机器人记住物品最新的样子，也记住物品一步步来到此处的过程。

第二个特征，是多主体。工业场景里，机器人遇到谁都可以做一样的处理，但在家里，不同的主人有不同的习惯、偏好、需求，机器人干活难度自然陡增。BetaMem 把动作主体和说话人分别归属到具体的画面与语音来源，人物理解题 78.43% 的成绩，落到家庭里就是分得清家里有几个人、各自做了什么。人物溯源能力，是家庭机器人落地非常关键的前置能力。如果一个系统分不清你和孩子，记再多内容也无用，反而是添乱。

第三个特征，是长周期。工业任务以分钟、小时计，家庭相处以周、月、年计。真正有用的家庭机器人，要归纳出主人的习惯，避免主人反复介绍物品、习惯和要求。同时，不把一次偶然当成偏好也很重要。贝塔无限对此的约束很明确，规律和程序必须经多次独立经历印证，单次事件不能固化成规则，这一定程度上能保证机器人行为的稳定性。让每一次相处积累的了解，成为下一次服务的基础，这才是长期记忆真正的价值。

而决定这套系统能否真正进门的，是第四个特征——信任。家庭机器人记录的是人的生活，用户迟早会问出一句话：“你怎么知道的？能删吗？”这不该是事后补的合规功能，而应当是记忆系统的生死线。贝塔无限的答案是把它做进架构里：读取按记录、按来源逐条检查权限，永久删除需授权并让派生内容与索引一并失效，端侧保存近期观察与本地身份，云端只接收有界字段和被许可的证据引用，云端不可用时本地照常工作。

贝塔无限的整套设计，是为一个开放、多主体、长周期、且必须被信任的环境而生的，从根源上适配家庭机器人的核心诉求。

下一站，进入生活

当然，这四个特征并不专属于家庭。养老院里，机器人要认得每一位被照护者，记得各自的习惯与禁忌；零售门店，货架、库存和客流时刻在变，今天和昨天的情况不是一回事。只要机器人长期和人、和真实世界交互，就绕不开长期记忆的问题。

不妨回到论文页眉那句副标题：Learning What Remains True as the World Changes，世界瞬息万变，当知晓何为真。

这句话妙在，它既是一道技术题，也是一道信任题。技术题是：机器人如何在一个随时都在变的世界里，分清曾经的真和现在的真。信任题是：当它给出答案，凭什么让人相信。

贝塔无限在具身长记忆的工作，本质上是把这两道题并成一道来解——证据与状态分离，让曾经为真有案可查；状态进入动作与验证，让现在为真有据可依；记忆策略联合进化，让将来如何为真有法可循。在一众聚焦感知、控制、大模型调用的具身团队里，像贝塔无限这样，将具身长记忆作为公司第一主线、投入整套底层体系研发的玩家，其实并不多见。

当然，这份答卷仍有两处空白：让记忆越用越好的独立实证，和真实家庭里的长期数据。前者需要更多实验，后者需要时间，九月底发布的首款机器人多米，会是一个观察的窗口。

会员登录