具身智能在家庭场景的落地正从概念验证走向产品化探索，但如何在非结构化环境中实现长时序任务、多模态交互与持续成长，仍是行业共同面对的难题。
本文整理自乐享科技联席 CTO、穹明智能总经理李元庆在 AICon 全球人工智能开发与应用大会 2026 深圳站的分享《轻量化异构双臂 × VLA/世界模型：家庭服务具身机器人的落地实践》。他系统梳理了家庭机器人的形态定义、轻量化本体设计、分层软件架构以及仿真到真机的数据闭环实践，重点讨论了 rule-based 与 modular-based 策略的协同关系、端到端方法在现实约束下的差距、软硬一体开发中的自动化代码生成，以及机器人自我进化系统 RSI 的构建思路。
以下是演讲实录（经 InfoQ 进行不改变原意的编辑整理）。
背景与挑战：家庭机器人离真实需求还有多远
坦率地说，目前大家对 to C 具身智能是否到了落地的节点仍有疑虑，但家庭场景中的真实需求是存在的。每个人在家里都希望有机器人能够帮你做越来越多的事情，我们对于厨师、保姆、阿姨这些角色的期待，本质上就是希望从大量重复性家务中解放出来。这几年工作日里大家越来越忙碌，很多人选择点外卖而不是自己做饭，那么周末能不能把时间还给自己，这些事情在 to C 场景里大有可为。
在具身智能这个赛道，数据、本体、场景和硬件就像一只手的五个手指头，只有握在一起才能成为一个拳头。这个比喻非常形象。对于现在做机器人的团队来说，这几个维度目前还没有真正做到清晰的解耦。做硬件的团队、做模型的团队、做软件的团队，彼此之间仍然需要非常多的打磨。原因很简单，做 AI 的人都会围绕数据和落地的应用成功率展开工作，场景决定了数据的结构，数据结构又决定了模型的参数量和形态。而一旦在真机中引入 physical 本体，本体产生的数据中，on policy 强化学习和 post training 那一部分依然是至关重要的。这说明硬件本体、数据采集和策略训练之间并没有完全分开，它们天然地绑定在一起。
家庭机器人的理想与现实之间还存在明显的鸿沟。to C 有一个好处是数据的 diversity，它可能让 AI 的整个基线跑得更快。而且在应用端，我们可以通过 IP、情绪价值和营销策略让用户更早地接受产品，这是 to C 与 to B 不一样的地方。但与此同时，to C 场景中的本体往往还比较笨重，能不能做得更轻、更小，是一个非常现实的问题。举个例子，帮我们拿一杯水这个看似简单的任务，在复杂家庭环境中其实是一个长时序任务。机器人需要先去找水，找到水的过程中可能需要先打开一扇门，走到冰箱旁边，打开冰箱门，再在冰箱内部找到那瓶水并把它拿出来。整个过程是一个 long context，也是一个 long horizon 的任务。交互的多模态与情感化同样重要。当用户说“帮我拿一杯水”时，如果机器人只是一个多模态模型，它怎么知道哪一杯水属于用户？这需要前面的 memory，也需要非常准确的 reasoning 来完成移动。
非结构化的家庭环境是另一个挑战。这几年一些团队在做酒店、康养等半结构化场景，但家庭场景始终是最后一个复杂、高动态、高灵活度的地方。此外还有隐形的意图与长短记忆问题。用户说出的一句话携带的信息量其实非常少，机器人想把任务做对的难度极大。“出厂即精英”的假设也不符合实际需求。我们在调研中感受到，机器人走进家里的时候更像一个笨笨的小朋友，它需要像阿姨一样熟悉用户的生活习惯。比如用户说“帮我拿杯水”，早上九点拿的可能是一杯白水，下午三点拿的可能是一杯冰可乐。这些上下文习惯必须被长期记忆和学习，这件事才有可能真正做成。
产品形态与轻量化本体设计
基于 to C 的思考，我们采用了一个比较务实的产品策略。当机器人出现在家庭中，它首先面临的问题是自己到底是什么：是一个工具、一个家电，还是一个家庭成员？我们把产品身份定义为三种形态：pet、partner、assistant。
三者的区别非常清晰。Pet 提供纯粹的情绪价值和功能价值，更像日本之前 LOVOT 那种笨笨的机器人，用户感受到的是多巴胺和催产素的分泌，购买决策由营销和情感驱动。Partner 的核心能力是养成系能力：它走进家里时一半是情绪价值，能在交互和简单移动操作中给出情感上的理解，同时能完成基础任务，并在这个家庭中持续成长。Assistant 则纯粹是功能价值，像钢铁侠里的贾维斯，或者那个笨笨机器人帮你拿灭火器去喷着火的工作台。我们认为这三类形态是未来具身智能走进家庭时最真实的产品形态。
在这些形态背后，我们在整个公司体系下做了一些前沿探索。技术侧我们自研了高扭矩密度电机。之所以要自研，是因为前两年我们在国内供应链中寻找能把机器人做轻做小的方案时遇到了限制。如果希望机器人保持同样的末端负载和同样的工作空间，就必须把电机尽可能做小，这样才有机会把上半身做轻，底下也做轻。这是轻量化最本质的路径。另外在情绪识别上，我们发现语言里包含的信息太少，能不能把语音的语调、语速都作为参考输入，把人的表情、说话时间和前面的上下文联系在一起，这是我们智能大脑的一部分工作。机械臂、灵巧手和 VLA 模型共同组成智能大脑，这一点后面会在软件架构上展开。
我们最近发布了一款轻量化的家庭协作机器人。当前整机重量是 30 千克，我们还在继续压重量。它的底盘很小，直径只有 45 厘米，比家里的扫地机器人大一圈，接近一个大号花盆。升降高度从 82 厘米到 147 厘米，82 厘米，机器人蹲在那里像家里一个大一点的桶，147 厘米则接近身材矮小女生在操作时胳膊的高度。
我们做了三个版本，大家在看到产品时可能会注意到两个机械臂有的一样、有的不一样。两个七自由度臂的方案，是这几年大家都在讲 data driven，通过 common sense 策略，用像人胳膊一样的自由度去完成同样的事情。但这对机器本体的要求非常高。另一个方案是一个四自由度和一个七自由度配合。这里的设计逻辑是：人是分左手和右手的。在做穿针引线这类动作时，左手往往负责固定的握持和约束，右手执行精细化操作。比如拧瓶盖时，人其实是用两只手协作，但如果放到标准的笛卡尔空间里考虑，左手可以固定住，只要把握持动作做好，右手来做精细操作。因此我们设计了四加七的结构。四自由度这边整条臂可以做得非常轻，配合拖链和型材结构，完成高处的动作时前后摩擦力需要对抗，但抬起的动作非常轻，这样整个策略都依赖于一个稳定的约束。如果只看这一半，它是一个标准的笛卡尔坐标系，对 AI 算法来说，做 manipulation、动态视觉追踪和策略都轻松很多。底盘方面我们提供了全向轮和差速轮两个版本，都是基于成本和实际业务中的发现来选择的。比如机器人会缠到头发、需要越过小的门槛缝、用户对柔性化灵活度有要求，这些我们都做了大量测试。最终推出目前这三个产品版本，是希望用户在用的时候能感受到工程师在设计时的认真。
我们发布了一支产品视频，画面是温馨的艺术化渲染。视频里展示了一个理想场景：家里不只是一间房子，有人提前为你把生活的杂乱捋清，每句叮嘱都有回应，小恩协作机器人会把你顾不上的小事一件一件放在心上，出门时提醒你带上口袋里的爱心，疲惫时轻轻接住你。虽然视频是艺术渲染的结果，但大家可以从中感受一下，如果这个机器人纯靠遥操作，它能完成的工作空间和想象空间到底在哪里。接下来我把它的技术底座和实际做到的东西跟大家分享。
软件架构：rule-based 与 modular-based 的分层协同
软件架构上，我们的设计思路是分层的。这几年大家听到 agent 比较多，前两年听到端到端比较多。现在大家听到 rule-based 这个词可能觉得陌生，但它其实在这个赛道已经存在很久了。状态机、behavior tree 都是 rule base 的典型代表，本质上就是明确地遇到一个情况然后产生一个行为，类似 switch case 或者 if else。扫地机里很早就积累了大量这样的经验：卷到窗帘就退出来，卷到地毯就退出来，被门挤了一下就退出来。这些都是之前工程师积累的 corner case 和长尾问题经验。家里并不是从来没有过智能机器人，扫地机器人曾经走进过家里，在移动导航和避障上积累的经验非常有价值。我们能不能把这些高解释性、高可靠性、低成本的策略作为机器人的兜底？这是我们的第一层，它也像无人驾驶里的 questions 和 checker 一样，承担安全兜底和基础行为保障的角色。
第二层是 modular-based。这个阶段大家做的策略其实很像 agentic 架构：把 perception、decision making、reasoning、memory 以及后面的 action 和各种 skills 都拆开去做。这件事很有意思，因为通过 modular-based 策略，能把一个机器人的软件体系先完整地连在一起。它看起来可能很慢，泛化能力也不够强，但它能够把前面各个可解释性的环节连通起来。它主要解决了一个困惑行业很久的问题：可控性的 AI 到底怎么做？后来我们发现，可控性的 AI 可以总结为一句话：让每一个模块都完全可控。这句话听起来抽象，但核心意思是不能让所有模块细节都变成黑盒，中间必须有一个阶段是拆分的。拆分之后，我们能看到显式的结构特征。在早期可能是专家网络或稠密结构，通过这些显式结构特征，机器人可以快速学会一个东西，实现 few shot，从而替代掉端到端在现阶段难以落地的部分。
端到端仍然是未来要努力去攻克的方向。目前在 modular-based 架构下，perception 环节需要反复看一个东西，调用摄像头的次数很多。端到端则是像看一个事情就推一个 chunk，摄像头调用次数大幅减少，能耗会压缩，模型大小会变小，API 调用次数也会减少。只要考虑到一天的落地运行，稳定性和能耗就是必须面对的问题，端到端一定要做。而且端到端的信息利用效率是最高的。modular-based 阶段我们做分块，是因为自然语义文本和环境信息里包含的内容太少，我们必须在合适的节点把最合适的数据交给它，否则有些地方数据是浪费的，有些地方数据又实在太少。这一页内容做得比较早，后面论文更新会进一步展开。
把软硬一体这件事展开来看，我其实很早以前就开始做机器人，那时候 state machine 和 behavior tree 比较多。一个最真实的感觉是，这几年大家讲 AI 讲得有点乱了，总说 AI 和 data driven 体系需要重新做一遍。但如果真的去看，很多东西其实没有那么大的变化。研发策略和研发效率需要在 artifact 这一层做明确的拆解。硬件这一层，我们通过自动化的策略来把问题解决的速度提高。这几年确实出现了很多新名词，但本质上这些是我最开始做传统机器人赛道时就在用的东西。蓝色标注的部分都是现在新加的。AI 对机器人开发者的意义在于，它把能力边界扩大了，让性能有机会更高，这些蓝色空间为机型带来了更多能力。AI 在 robotics 能力上的赋能确实非常大。
软硬一体的另一个进展是，我们前面已经能在一些成熟的硬件本体上完成 general 的物体放置、刚性物体和均匀尺寸物体的操作，当时成功率已经可以做到百分之百。这类似于大家前面用 grasp net 识别抓取位姿，后面用 IK 去执行，已经很成熟了。今年我们在做的事情是，在自由度高、约束复杂的情况下，把 WBC 的整个 control 做得更强，让它完成更强的跟随能力、更强的避障能力，以及模式层中更好的能力。更让我自豪的是，这一块代码已经不再是人写的了。我们在某个仿真的小 simulation 闭环里，机器人可以自己去做 evaluation，然后 AI 自己去改代码。人在里面大部分参与的环节，只是在决策链条中有些 checklist 选择走哪条路径可能收敛更快。最终我们看到的结果是，硬件本体在那里做的事情成功率越来越高。
从 modular-based 到端到端的工程演进与仿真闭环
在整个 infra 上，这几年大家做 VLA 或者 VAM，确实看到了一些不错的东西。但回到本质，主要还是 sim to real，也就是强化学习那一套和后面的 behavior cloning 几条路线。这里想跟大家分享的是机器人赛道所谓的 RSI 可能是什么。简单来说，就是把 target model 构建、system model 构建中间的 development、deployment、verification、evaluation 串起来。设定一个目标之后，能不能把 system 友好地整合在一起；这个 system 包含 robot 本体、hardware、software 和整个架构。development 是开发过程中你开发了什么，我们做的是前面的 modular-based，然后往端到端再往上一层走。
deployment 的难度被普遍低估了。做一台 deployment 很简单，但做到三十台到一百台的时候，你会发现非常依赖云端厂商的边端推理能力，需要非常稳定的数据传输和非常稳定的信息链路。再往下是 verification，你必须清晰地完成任务验证，搞清楚什么成功了、什么失败了、哪里失败、怎么失败的，把它清晰定义出来再做评估。这里有一个比喻：做一台特别好的机器人，就像一把刀和一把尺的关系。你必须有一把非常强的尺，才有机会做出一把更好的刀；再把精细度高的刀配上这把尺，才能形成闭环，把事情越做越好。所以 RSI 的底层就是一个自动化系统，只有这样才能看到 evolving 或者 evolution。
在演示中，我们连续询问机器人状态：“小恩小恩，录制得怎么样了？”“小恩小恩，结束录制。”“小恩小恩，构建的怎么样了？”它回复：“构建进度 60%、空间定位完成。”接下来是物体更换为挂饰、物体是个逻辑等一系列指令。用户继续问：“小恩小恩，你的记忆里有什么？”它回答有视频、遥控器、仪表盘、鞋子、小包裹盒、显示器和音响。然后用户说：“小恩小恩，帮我拿瓶可乐。”机器人回答要去看一下，确定目标物品并执行抓取。这是一个非常真实的 agentic 架构演示，或者说是我们称之为 modular-based 架构的真实演示。这里的细节是，整个过程一点 hard code 都没有，所有东西都靠系统一点一点叠出来。前面我分享过，在 simulation 里面我们已经把 AI 自己的验证功能跑通了。现在在 real world 下，我们也完成了一部分验证，能看到的效果就是视频中展示的那样。
机器人的智慧不像人类那么强，所以我们的 reasoning 做得比较复杂。人类的 recognition 能力比想象中强很多，而机器人在看东西时很像我这种近视眼：最开始视野模糊，先构建整个语义，用长链条去大概知道每个房间有什么、在哪个位置。在家庭场景中，它需要知道自己在厨房、卧室还是客厅，需要知道不会变的东西是家具，比如桌子、椅子、柜台，甚至门从房子建立第一天起就不会变。在门之上，我们用类似八叉树的策略构建上面所有物品的关系。找东西的过程就像近视眼找东西：先看到一个模糊的位置，看看哪个东西疑似目标，然后做 template 匹配、多模态识别、槽位和微辨识，大致知道东西在哪里之后，再“戴上眼镜”仔细靠近，找到它并带回来。大家看到的任务链条时间很长，但成功率提高了特别多。这比之前纯粹的端到端在现阶段效果好很多，同时它也是一个真正具备泛化性、用有限能力完成任务的方法。
在这些 modular-based 的基础上，我们也在看怎么在小的 skills 上、在 action experts 这一层做得更好一点。大家之前可能比较熟悉 digger 或者 husserl，以及强化学习之后的很多东西。我们做的事情是把策略里的各种数据策略都走了一遍。比如我们做了自己的 UMI 夹爪，虽然没有产品化，但在实验室里一直在用；一臂的策略也做了，centridig 的策略、后面 in the loop 的策略全部过了一遍，并且自己搭建了整套 simulation evaluation 的 loop。我们尝试在采集数据的过程中，把数据清洗和上传链条在云端完整搭建出来。实际的效果是，我们用各种各样的数据做了各种各样的训练，把真实实验室中的流程搭建了出来，去构建小的 VLA、小的 VAM、小的 skills。我达到的结论是，之前做的有些东西很值得参考，七比二比一是我们目前拿到的一个比较真实的数据结果。
今年上半年我们开始看 human centric 的工作。我们的做法是拿人的第一视角，用手去做一些简单的操作，然后把 assumption 拿出来，下一件事开始给它做，把不需要的部分去掉，现在加上仿真的隐形机械臂，把机械臂的工程、IK、动力学和运动学都模拟出来。最早做这个是为了提高整个 human centric 对有遮挡物体的想象能力。这一块用的就是李飞飞老师现在比较强调的 real to sim to real 的事情。我们这个链条做了很多，希望大家能一起看到未来。
在 demo 这一层我们做得更多一些，早期我们用 oppa max 机械臂去做放木块的任务。任务中一旦发现中间某些链条不够成熟、成功率比较低、会走错方向，人就会介入。我们需要专家在小空间里引入意见，看看怎么把成功率提得更高，然后人工介入纠正机器人的策略。所谓力反馈或者主动服务，就是在同样空间里人工介入纠正策略。我们在 demo 体系下做了很多工作，把它磨成一个内部使用的实验平台。这样采集二十条、三十条数据之后，我们明确看到，小物块这种精细化操作，之前成功率在仿真上只有 30%左右，后面在这种操作下大概能提到 60%。后来我们又做了一些更优秀的操作，把成功率提到了 90%。
从整个探索过程来看，我们其实是在从 demo 往产品化一步步走。前面提到的很多工程细节，本质上都不是在做 simulation demo，而是在打磨更可靠的产品。我们从工作堆砌转向场景深耕，从技术驱动转向数据驱动。这是这几年最真实的感受：不再需要那么多工程师去疯狂写 corner case，不需要针对每一个长尾问题都花大量时间。AI 在 simulation 和 real world 中确实展现出了很强的效果。一个数据拿回来之后，当你建立了比较好的数据采集方式，并且增强了 verification 和 evaluation 能力之后，AI 能够理解自己到底做了什么，能够理解自己做错了什么，并且从中找到怎么能做得更好。这就是数据驱动带来的质变。
单机智能转向家庭共生是另一个重要的转变。机器人慢慢会成为一个 member，而成为 member 需要用户和机器人一起成长。我们希望最终能做出出现在家里的 pet、partner、assistant，这是真实的期许。
在工程实践中，自我进化系统的构建是一个持续迭代的过程。我们在仿真中建立了自动化验证闭环，让机器人自己去做 evaluation 和改代码，这个闭环不仅提升了开发效率，也让人从大量重复性工作中解脱出来。人参与的部分越来越少，主要的决策集中在选择哪条收敛路径更快。这个体系从仿真延伸到真机，虽然在真实世界中还有很多细节要处理，但已经完成了一部分验证。可以预见的是，随着 verification 和 evaluation 能力的不断增强，机器人在环境中的表现会越来越稳定，从能完成任务走到能可靠地完成任务。
从更宏观的视角看，机器人赛道的 RSI 本质上是在构建一个能够自我进化的系统。目标模型、系统模型、development、deployment、verification、evaluation 形成闭环，只有让这个闭环转起来，机器人才有可能不断进化。这个系统不能只停留在仿真阶段，必须和真实环境产生连接。仿真的成功率可以做到百分之百，但真实环境中的长尾问题依然大量存在。我们的策略是先用 rule-based 做高可靠性的兜底，用 modular-based 实现可控的智能，再逐步向端到端演进，这样既保证了当前阶段产品可落地的稳定性，也为后续的技术升级留出了路径。
做机器人是一件很浪漫的事情，也是一件让我很有使命感的事情。公司的很多小伙伴都认可这一点。我们想做的是一个伟大的机器人，希望大家能用它去做伟大的事情，这是我们对机器人最真实的期许。希望用户能看到的是一个稳定、好用的平台，希望机器人能实现自进化——仿真界的自进化，在真实世界里的自进化，在用户手上完成真正的自进化。从工作堆砌到场景深耕，从技术驱动到数据驱动，从单机智能到家庭共生，这三条路径就是我们正在走的方向。我们希望和伙伴、开发者一起构建软件的进化生态，让每一台机器人都能成为这个系统上的贡献。
热度延续：12 月 AICon 北京站见
12 月 18–19 日，AICon 全球人工智能开发与应用大会将在北京举办。本届大会以探索 A 应用边界为主题，设置 13 大技术专题，覆盖大模型后训练、推理优化、Agent 工程、知识工程、智能体评测与安全、自进化系统、AI 软件交付、原生架构及组织变革等核心方向，汇聚一线技术专家，深入分享 AI 技术突破与企业规模化落地的真实实践。
