首页 > 资讯 > 不堆 Transformer，斯坦福吴佳俊如何用物理重新定义多模态融合？｜ECCV 2026

不堆 Transformer，斯坦福吴佳俊如何用物理重新定义多模态融合？｜ECCV 2026

雷锋网 2026-09-11 17:39 1 阅读查看原文

视觉、听觉、触觉三种数据，其实是同一组物理属性在不同感官通道上的投影。

作者丨陈淑瑜

编辑丨岑峰

2026年9月8日，欧洲计算机视觉会议 ECCV 在瑞典马尔默召开。在 9 月 9 日的“ Embodied Multimodal Reasoning in Physical Environments（物理环境中的具身多模态推理）”专题分场上，斯坦福大学计算机科学助理教授吴佳俊发表了一场横跨视觉、声音与触觉的演讲。

这已经是吴佳俊两个月内的第三场重要演讲，而每一场的切入口都不同。

8月20日，他在德国不来梅领取了 IJCAI 2026“计算机与思想奖”，发表获奖演讲《Building Visual and Physical Intelligence Through Code》，彼时他系统性阐述了如何将经典符号 AI 的几何、物理先验定义为“物理代码”，并与现代基础模型深度缝合，铺就了一条从“看懂画面”到“具身动作交互（4D）”的全新物理智能范式。

9月8日，他在 ECCV 期间的“Robotic Manipulation Research”Workshop 上转向了操作与规划：让基础模型自动发现“原子技能”及其前置与后置条件，构成可组合的抽象，使机器人能从极少演示泛化到长程任务，并配套一系列评测基准。

而9月9日这场，他换了一个方向。前两次的路径都是“从视觉出发，往下游延伸”——先理解世界，再去规划与操作；这一次则是在感知端横向拉平： 将视觉、听觉、触觉视为同一组物理属性在不同观测通道上的投影。举例来说，一个塑料物体，看起来像塑料，摸起来像塑料，敲起来也像塑料。

他要回答的是一个更前置、也更难的问题：当我们几乎没有任何数据时，怎样把这三种模态融在一起？

在这场多模态感知的演讲中，吴佳俊没有沿用“把视觉、音频、触觉拼起来喂给 Transformer”的常规做法，也没有退回“先估计状态、再跑物理仿真”的经典路径，而是给出了一个更前置的答案：用同一组物理属性，为三种感官建立共同的坐标系。

吴佳俊直击当前多模态融合的痛点：进入新领域、面对从未见过的物体时，声音与触觉的数据几乎为零，真正稀缺的不是架构而是原则。

他系统性阐述了如何把几何、材质与刚度这类物理属性，既作为从视频扩散模型中蒸馏出的学习目标（PhysDreamer），又作为条件化生成模型的中间接口（WonderPlay），并进一步延伸到声音的可微分渲染（DiffImpact、RealImpact）与柔性电子皮肤（DexSkin），铺就了一条从“看懂画面”到“听出材质、摸出力度”的跨模态物理智能范式。

以下是吴佳俊在 ECCV 2026 期间发表的演讲精编稿，AI 科技评论基于其演讲内容进行了不改原意的翻译编辑：

▎《Physics-Grounded Multimodal Perception：从视觉、声音到触觉的统一物理底座》

主讲人：吴佳俊（Jiajun Wu），斯坦福大学

当数据极少时，模态该怎么融

这部分讲的是多模态感知，所以我想还是讲点跟多模态相关的内容。于是我回去翻了翻我们自己的工作，几年前做过的一些声音研究现在回看依然很有意思，我自己还想再往前推一推，所以也打算一并讲讲。

视觉是一部分，我们也会讲到触觉，另外还有听觉。问题在于，怎么把这些多感官信息融合起来，构建出更好的表示，从而帮我们做感知和操作？

要把这些信息融合起来，你总得有某种原则。视觉和听觉该怎么配？听觉和触觉又该怎么配？当然，你可以直接上 Transformer，这也是现在大家普遍的做法，某种意义上效果也确实不错。

但有时候我们会想，能不能做得更好一点，尤其是当手上数据非常少的时候。如果我们进入一个全新的领域，面对从没见过的物体，关于它们的声音、它们的触觉响应，我们几乎没有数据。这是我们一部分工作的出发点。

所以正像标题里写的，我们想的是：能不能把这件事做得更有物理根基一些，让底层的物理规律来指导多模态感知模型的设计，哪怕最后我们还是用 Transformer 之类的结构把它们融合起来。

同一组物理属性，支配着所有感官

先说图像。我们会依次讲图像、听觉和触觉，但从图片开始。你看到一张图片，就知道这里面一定有底层规律在起作用。

我们看到这头狮子，是因为它有几何、有材质、有运动。这里重要的是，我们要关心的其实是同一组物理属性，可能是几何，也可能是材质；而支配其他类型观测的，也正是这同一组属性。

你可以有触觉观测，也可以有听觉观测，它们全都源自同一套底层物理。举个例子，如果一个物体是瓷做的或者塑料做的，那它看起来像塑料，摸起来像塑料，敲起来也像塑料。所以同一组底层属性，其实在帮我们引导不同感官模态的感知过程。

视觉即逆图形学，

但今天有了更好的工具

这里是 ECCV，所以我们本质上还是在解决计算机视觉的感知问题。历史上人们常说，视觉就是逆图形学，也就是把图形学的渲染过程反过来，从感官观测中恢复出那组物理属性。我们先花点时间聊聊视觉。

在推进这条线的过程中，我们尝试过几种不同的范式，来把物理和感官观测结合起来。我们特别在思考的是，怎么借助这些基础模型？

它们正变得越来越强，每天都在变强。既然它们能做的事越来越多，我们自然要问：我们关心的那些物理属性，能不能从中拿到？

现在人们说基础模型，越来越多指的是语言模型。但此前也有别的基础模型，比如视频扩散模型，还有大量视觉语言模型。具体到我们关心的这类底层特征，比如物体几何和物理属性，我们花了不少精力研究一个问题：到底能从视频扩散模型里蒸馏出多少东西？

既然它这么擅长生成漂亮的图像和视频，那它一定捕获了某些关于物体几何和物理属性的知识，我们能不能把它挖出来？

PhysDreamer：

从视频扩散模型里“掏”出杨氏模量

我先举几个例子，说说这类工作是怎么做的。我们最早的尝试之一，是从视频扩散模型中提取物理属性，用来对动态物体建模。

这项工作发表在 ECCV 2024，也就是两年前。问题是这样的：你想做动作条件下的三维物体动力学预测，从一个静态的 3D 场景出发，比如一朵花，然后推理它的物理属性，让它变得可动、可交互。

这是 ECCV 2024 的口头报告。你要做的是动作条件预测，输入不同的动作，下面这些结果全都是我们方法的输出，输入和场景完全一样。但只要你估计出了物体的物理属性，就应该能预判物体会如何响应你施加的不同动作。

这里的挑战在于，我们真的能感知到物体的物理属性吗？几何、材质当然都算物理属性，但在动作条件预测这个场景下，你真正关心的是更狭义的那一类，也就是密度、刚度这类传统的物理量。其中最关键的是，我们要怎么估计杨氏模量，也就是物体的刚度？

实际上这个问题可能比你想象的更难。即便只是一朵花，花有不同的部分，它是非均质的，不同部分的物理属性并不一样。所以如果你基于启发式规则随便赋予物理属性，再跑仿真，得到的就是明显不真实、而且带有很大随机性的物理行为。

这其实是一个高维空间，哪怕只是一个杨氏模量场，要估计的也是一个高维场，就算多次采样，结果也不太好看。而且我们显然没有这类真值数据。

很多东西你都能收集到大量数据，比如用 Blender 这类软件可以拿到大量专家轨迹。但底层物理属性的估计不一样，我们没有密集标注：花瓣的杨氏模量到底是多少？这种数据根本不存在。那怎么才能得到好的估计？我们的想法是，从预训练的视频扩散模型里蒸馏。

两年前做这项工作的，一位是 Tianyuan，他是 MIT 的博士生，刚毕业去了 Meta；另一位是 Koven，我在斯坦福的博士生。

我们具体做了什么呢？即便用当时还不够好、远不如今天的视频扩散模型，我们依然拿到了一些有意思的结果。

思路是这样的：用 3D 高斯表示场景，把它渲染成图像，再送进视频生成模型做图生视频，得到一段参考视频；同时有一个待估计的杨氏模量场。把外观场和物理属性场拼在一起，送进一条可微分的 3D 表示管线。当时我们用的是可微分物质点法，也就是 differentiable MPM，它最初来自计算机图形学社区，非常容易和 3D 高斯结合。让它们通过可微分仿真，就能得到物体的仿真轨迹，再渲染成视频。

刚才说了，如果物理属性的初始猜测不准，渲染出来的视频也不会真实。但现在你有了一段参考视频可以对比，就能得到一个损失。

有意思的是，即使你只是在像素空间上算损失，它也能给你很多有用的信息，因为这里一切都是可微的。这些信息可以反向传播回去，让你把物理属性的估计更新成“为了让仿真视频和生成视频匹配，它应该是什么样”。

这个范式非常简单，虽然已经是两年前的事了。这两年很多东西都进步了，我们也做了后续工作，不再在像素空间算损失，因为那样比较脆弱。我们开发了一些方法，有点像 SDS，也就是分数蒸馏采样，在视频上做同样的操作，就得到估计的 4D 表示。

这条线我们其实没有继续往下做，但第一个工作我觉得依然很有意思，因为它用一个非常简单的范式说明了一件事：你可以通过推动基础模型，从中取出物理属性的估计。随着模型越来越强、蒸馏方法越来越好，你会拿到更好的结果。

因此，我们不仅能给花估出不错的物理属性，对别的可变形物体也行，因为 MPM 这种仿真方法特别适合软体。

还有一件有意思的事：因为这里的场景非常简单，我们其实可以拿到真值，拿真实采集的花朵运动跟我们方法估计出的运动对比，我们方法的输出比基线要真实得多。

物理现象的通用建模

从那以后，我们做了一系列后续工作，比如改用其他类型的优化、用更好的扩散模型、扩展到更通用的场景。

我特别想讲其中一个延伸点：我们一直在努力把建模对象从“只有可变形物体”，扩展到更通用、更多样的物理现象。现实世界里，或者说虚拟厨房里，并不只有物体，还有不同状态的物质：颗粒、流体、刚体、软体、关节物体。这些不同类型的东西，怎么用一个统一的系统全建模起来？

这就是我要讲的第二项工作的目标：从单张输入图像出发，重建出 3D 场景，并且让它可动、可仿真，也就是你可以通过施加动作让它具备交互性。

比如这个场景里有一个刚体，就是这只橡皮鸭。那么你能对它施加什么动作，让它跟下面的流体发生交互？

这是去年的工作，叫 WonderPlay，它能让你从单张图像得到可动、可交互的 3D 场景。

这些动作是在 3D 空间里定义的，比如你可以设一个力场，把那根棍子往左往右拖，就能看到蜂蜜和蛋糕之间的交互；也可以设一个从左边吹来的风场，能看到帽子、头发还有烟的运动。

这里的思路是这样的。传统做法是做状态估计，再做物理仿真，但这显然不够。因为即便估计完美，仍然有很多东西我们根本不知道怎么又快又准地仿真，流体和刚体的交互极其复杂，你不得不做大量近似。

更麻烦的是，它还假设我们有完整的状态估计，而状态估计本身就非常难。我们前面刚花时间讨论怎么估计杨氏模量这一个物理属性，而这里你却需要完整的物理状态和几何，从单张图像里怎么拿到这些？观测实在太有限了。

视频模型吃不下细粒度动作

那么，我们能不能处理这种不完整的信息？有一个仿真器的好处是，它天生支持动作条件预测：我有一个状态，我有一个动作，不管这个动作怎么指定，我都能预测会发生什么。

相比之下，视频模型恰好是互补的：它们有大量视觉先验，所以能从信息严重缺失的输入出发，把场景补全，给你一个它们从没见过的场景。

但这类生成式方法也有局限。尽管进展很多，比如 World Labs 刚发布的 Atlas，号称极其通用，输入图像、语言、多视角图像，生成视频，什么都能做，但有一件事人们至今仍然做不到：不管是 Genie 还是 Atlas，不管什么模型，它们依然真的没法接受各种细粒度的动作作为输入。

这从根本上跟数据类型有关。不管你训练的是多视角扩散、自回归扩散 Transformer，还是什么别的架构，你手上的数据大量是视频，而对应的“动作”也只能是配得上这些视频的动作，其中很多是导航指令，因为你可以从无人机或者游戏里采集到。所以这些模型能接受导航指令，也能接受语言作为输入。

语言在某种意义上确实能指定某些动作，但要指定到很细的粒度，你是真的很难说清楚。举个例子，假如我现在握着这支麦克风，在做灵巧操作。假设我用的是一只灵巧手，我的手和这个物体之间有多个接触点，只要我手的位置稍微变一点，某个接触点稍有变化，麦克风可能就掉了。我当然不想让它掉下去。

可以看到，动作空间本身是高维的，而这类数据极难采集。现在机器人领域大家采集了多得多的第一人称数据，但这也正是为什么人们要花这么大力气从第一人称视频里估计手部姿态，因为存在大量遮挡，接触点非常难估计；而人实际施加的具体动作，尤其是这种低层级动作，也很难明确指定。

所以问题又回到数据：谁手里有这些数据？视频模型能接受语言和导航指令，却很难接受细粒度动作。但反过来说，如果你真有细粒度动作输入，这类模型是可以免费吃下去的。

不过你可以看到，这两者在某种程度上是互补的。既然互补，我们就想，能不能把它们结合起来，构建一种混合式的、视觉与物理并重的生成模型？

思路是：基础模型可以帮你蒸馏出物理属性，但你不必只把它们当作输出，还可以把它们当成一个接口，用来更好地条件化和控制这些生成模型。

这有点像现在我能用 Blender 生成各种场景，你可以把 Blender 看成一个仿真器，只不过是用大语言模型来输出你需要的几何、相机位姿之类的参数，去控制它。

而现在我们想让生成模型也能接受细粒度动作作为输入，动作可以用物体几何来指定，比如以深度图或者光流的形式。怎么才能让基础模型接受这些更细粒度的动作？这就是目标。所以你仍然要估计物理属性，但反过来把它们当作条件，用来更好地控制基础模型。

WonderPlay：把仿真器的输出，塞进生成模型当条件

在去年发表的 WonderPlay 里，我们的目标就是构建这样一个混合式生成仿真器。举个具体的例子：假设我们有一张单图，想把它变成 3D 并让它可动，靠的就是这个思路，把物理仿真方法和视频生成方法结合起来。

做法是，先对这张单图做一些 3D 重建。3D 重建本身就很难，你不可能拿到完整的状态估计，因为遮挡和信息缺失都很严重。但即便重建得不完美，你仍然可以把它作为物理仿真方法的输入，得到一个粗略的仿真结果。

你会看到很多物理上的瑕疵，看起来不真实，也会有视觉上的瑕疵。但它们给了你一个大致的直觉：物体之间大概应该怎么交互。于是你可以把它们当作条件。

也就是说，现在我知道物体之间大致该怎么交互了，那我就把深度图或者光流作为条件喂给视频生成模型，对它做后训练，让它以这些为条件，输出却真实得多的视频。你甚至可以对多个视角都这么做，因为仿真结果是 3D 的，可以渲染到不同视角。

但它毕竟只是一段视频，没有底层的物理表示。所以如果需要，你还可以进一步拿这些生成的视频去重新优化底层的物理表示。优化之后，它既仍然是一个 3D 的物理表示，从不同视角看都成立，也能接受风这样的动作作为输入，同时又因为这些视频提供了监督信号而看起来真实得多。

这就是核心思路：把物理仿真器和视频生成器放在一起，支持刚体、软体、颗粒物体、刚体与流体等多种多样的物理交互。而且因为它是动作条件的，你可以从同一张图像出发转成 3D，再施加不同的 3D 动作，看它如何响应。

我们也一直在思考怎么把它用到机器人上。如果你能做动作条件生成，你就会得到 3D 物体流，也就是物体随时间的稠密跟踪，这可以直接作为机器人的模仿目标。我们还在设法让这套系统更加实时，以便集成进真实的操作工作流。

声音：为听觉也建一条可微分渲染管线

怎么把这种基于物理的建模表示从基础模型里取出来，又用它们反过来更好地控制基础模型。但刚才说的都是同一组物理属性。而这同一组属性，其实也支配着你可能观测到的其他感官数据，不只是视觉，还有听觉和触觉。

它不只告诉你物体从不同视角、不同光照下看起来什么样，告诉你戳一下会怎样、它会怎么表现，还告诉你它会发出什么样的声音。因为说到底，决定“我戳这个东西会发生什么”的，是那组物理属性；在你和它交互时产生声音、给你触觉反馈的，也是同一组属性。

所以很长时间以来我们都在思考一个问题，虽然声音的工作是几年前做的，但我们想把它们重新捡起来：同一组物理属性，如何帮助我们理解来自不同模态的感官数据。

举个例子，如果你有几何、有物理属性，你就会意识到，物体之所以发声，是因为它会振动；而它之所以那样振动，是因为它有一套固有的振动模态。也就是说，几何和刚度实际上支配着物体底层的振动模态，这就是你在 3D 里可视化它的方式。而物体发出的声音，基本可以写成这些不同模态的线性组合，各自带上相应的权重。

这项工作是我们在四五年前做的，叫 DiffImpact。我们搭建了一条可微分的渲染管线，只不过是为听觉做的，基于底层的振动频率模态，以及对应的阻尼系数和增益。所以你可以看到，这是一条可微分渲染管线，就像 NeRF 和高斯在视觉数据上做的那样。

那么有了这条可微分渲染管线，你能做什么？在视觉上，如果你有一条可微分渲染管线，就可以对着视觉观测做优化，反推出底层的物理属性。同样的道理，面向听觉也可以这么做，从而从声音中推断出物理属性。

举个例子，这里有一只陶瓷马克杯，还有一段真值频谱，也就是实际录到的声音。我们知道这个声音可以写成冲击力和冲激响应的卷积，于是基于你对力和振幅的估计，就能合成出一段波形，再拿它和观测到的频谱做优化。

整个流程是可微的，所以反向传播之后你能得到估计出的冲击力，也就是撞击发生在哪里，以及冲激响应。

RealImpact：录制一个物体的“声场”

我们还做了大量更系统的研究，把这套东西延伸到更严谨的实验设置里。

比如几年前我们在想：在一个消声室里，没有混响，我们能不能不只建模物体的振动模态，还进一步思考声音如何传播，去建模物体的声场？

作为早期工作的后续，我们额外尝试录制单个物体的声场：用冲击锤敲击物体，同时用装在机器人龙门架上的麦克风阵列，从房间里不同的位置持续录制。

如果你们去我们的项目网站看看（网站是 Samuel 做的，他已经毕业，在特斯拉），会发现其实能听出非常细微的差别：同一个物体在房间不同位置发出的声音略有不同，因为不同的振动频率模态传播到房间不同部位的方式也不一样。

这个数据集我们叫 RealImpact，取的就是“真实撞击”的意思。我认为它可以作为一个基准，让你思考：拿听觉这类感官模态去做优化，到底能拿到多少信息、能推断出多少物体的物理属性。

后来我们还做了一些延伸，基于这些信息，假设你面对的不是物体而是一个扬声器，那么只要声场建模得足够好，一旦房间里有一个人，声场就会改变。我们已经证明，神经网络确实有可能从录到的声音里推断出房间里有没有人，因为人的存在会扰动声音的传播，让声场发生细微变化。

所以，如果你有一个很响的扬声器在放音乐，同时有一个麦克风在录音，那么房间里有没有人，其实可以根据样本里这些细微差异反推出来。这可能有好的用途，也可能有坏的用途，但本身是个挺有意思的发现。

DexSkin：10 美元的电子皮肤

最后，同一组物理属性，让你能做视频生成、动画、声场传播建模，也会给你触觉响应。所以我们也在思考，能不能在触觉感知上做更多事情，尤其是面向机器人操作。

我们过去在这个方向上做过大量工作，主要是基于 GelSight，也就是 MIT 的 Ted Adelson 组开发的触觉传感器。不过这些我都不打算讲，我要讲我们最新的工作，去年刚发表的，也可能是今年。

传感器有不同类型。GelSight 分辨率挺高，但不够耐用，用上一两百次就会看到凝胶明显漂移，只能再订一个新的；而且它有点贵，要好几百美元。磁传感器成本倒是低，但很难做成不同的几何形状，尤其是现在很多人又开始关注灵巧操作，而你希望装在手上的触觉传感器是按需定制的。所以我们在思考：能不能造出另一类传感器，覆盖面积更大、贴合性更好、跨实例一致，更耐用，还能给出可解释的信号用于奖励设定？

为此我们和斯坦福的鲍哲南教授合作，她来自化学工程系，长期在做这些材料。

这些我称之为 DexSkin，也就是柔性皮肤，最初只是为了新材料，也许用于医疗用途。但我们想，有没有可能把它们用在触觉感知和灵巧操作上？这里是一个演示，展示它怎么装到手指上，当然你也可以把它装到灵巧手上。

里面是一个刚性的 PLA 内核，外面套一个柔软的 TPU 套筒，最上面是电子皮肤，中间是内电极层、介电层和外电极层。你们看这些电极，它们非常柔软，而且非常便宜，大概 10 美元就能做出来，还能做成不同的形状，适配不同的物体几何或执行器几何。

装到夹爪上之后，它就能给你关于物体几何和受力的非常细微的信息。有了这种精细感知，你就能实现一些专门的操纵任务，比如笔的重定向：慢慢操控这支笔，稍微松开一点，让它翻转过来变成倒着，而不会真的把笔掉下去。我们做了三种设置的对比，用我们的传感器时任务成功概率要高得多。

还有一个例子是夹蓝莓。蓝莓非常娇嫩，很容易捏坏。但我们证明，如果使用我们的传感器，配合某种残差学习策略，就能以高得多的准确率夹起蓝莓，存活率也明显更高。

这项工作由 Stephen 完成，他是我的博士生，刚刚毕业，现在在 Google；Suzannah 是斯坦福新入学的博士生；还有 Baiyu，他是鲍哲南在化学工程方向的博士生。

结语：物理、因果与跨学科

总之，我想说的是：我们一直在思考，怎么为不同感官的数据去理解基础模型，包括视觉、听觉和触觉。当然，我们始终想借助基础模型的进展。如果有算力，我也想自己训练，但我没有那个算力。

所以要思考的是：在这些模型之上，我们还能做什么？我们的长处是什么？也许是我们对物理的理解，还有我们跨学科的优势。比如，我们在物理世界里开发新材料，这不是现在基础模型能做的事，至少目前它们基本都还停留在数字空间里。

关键是，我们既要利用对物理原理的理解，也要利用它们具有因果性这一点。因为一旦你改变某个物理属性，视觉观测、听觉观测、触觉观测都会跟着不同，而这一切都是因为背后有一套因果的、物理的原理。

如果你脑子里有这根弦，就能开发出跨模态的、更抽象也更通用的表示，同时获得更强的可解释性和可控性。

而且有了这套因果过程，你还能把仿真器或者合成数据引入闭环。事实证明这一点也极其重要，即便是基础模型训练也是如此。最新的基础模型大量使用了来自 Blender 这类仿真器的专家轨迹数据，这正是它们在这些任务上变得更强的原因。

Q&A 问答环节

▎提问者A：我想问的是，你实际上是怎么对仿真做非常细粒度的控制的？因为如果只是个视频生成模型，就像你说的，你只能给它很粗粒度的提示。

吴佳俊：物理仿真器本身是可以接受高度细粒度的动作作为输入的。我们有这个混合式仿真器，还有一张图，但我们并不试图自己生成动作，动作仍然必须由用户来指定。比如你想施加一个风场，那你就必须指定动作类型，它可以是多点接触，随便什么形式。一旦把它作为输入，连同场景状态一起，你就会从仿真器得到一个输出。

在这个例子里，我们指定的动作是“从下方吹来的风”，这是已经优化过的结果。但在最开始，同样的动作会给你一个不完美、有很多瑕疵的仿真输出，至少是个起点。然后从那里出发，你通过深度图到光流去条件化视频生成模型。而动作是在这里作为物理仿真器的输入被接收的。

▎提问者A：那些不会变吗？还是说你也会对它们做优化？

吴佳俊：动作不会变，动作是用户指定的。不过我也觉得，我们可以看看能不能对动作也做优化，那会很有意思。虽然我们还没做，但这不是做不到，应该是可行的。

▎提问者B：我有几个关于第一部分的问题。第一个是：物理仿真器里有很多参数，你是怎么优化或者设定它们的？第二个是：当前的视频模型可能会违反物理定律，这种不完美会带来什么影响。

吴佳俊：第一个问题，究竟哪一组物理属性是关键的？目前我们用的就是仿真器需要什么就用什么，不同的仿真器要求的属性集合也不一样。

不过这一点确实有意思。现在的基础模型不仅能设计部件，还能在内部进行工具调用，去跑有限元分析，确保设计满足空气动力学约束或者其他指标。但你在那里该做哪种仿真、哪些物理量才真正重要，其实也可以由基础模型来建议。就像我刚才说的，我们关心的物理属性是“物理仿真器要求什么”，而“该用哪个物理仿真器”本身也可以由基础模型建议出来。

至于第二个问题，物理不一致性，是来自仿真的还是来自视频生成的？比如你有一个粗略的仿真视频，用视频生成让它真实得多，生成的视频内部可能有时间上的不一致，多视角之间也可能不一致。但如果你有一个针对所有这些视频的优化方案，它基本上就是在这些不一致之间寻找某种折中。

但同时我也想说，难道你不应该预期这些模型会变得越来越好吗？它们确实在持续变好，至少在视觉数据上，不一致应该会越来越少。所以希望这个问题在未来不会成为障碍。

▎提问者C：我有一个关于触觉传感器的简短问题。顺带说，这个设计非常酷。因为我们目前在一个商业项目上工作，对某些客户来说，很难找到一种硬件能同时覆盖非常娇嫩的物体，以及对空间要求很高的物体。我之前真没见过任何一种触觉方案能把蓝莓这种娇嫩物体的存活率提高到这个程度。不过你在做开发的时候，有没有考虑过这类情况。

吴佳俊：非常薄的物体，或者堆叠在一起、间隙非常小的物体？说实话我觉得这应该不成问题，因为传感器本身非常薄，只要你能把它装到任何能执行任务的执行器上，就应该没问题。

不过我想，如果你面对的是一整盒蓝莓，东西堆得非常密，而你想挑出其中特定的一颗，我觉得现在这款夹爪可能做不到。原因不是我们的触觉皮肤，它非常柔软，问题在夹爪本身，它是硬的。那颗蓝莓本身可能没事，但你会弄坏周围的蓝莓。那么，我们有没有可能做出本身就柔软、能自适应的执行器，就像人的手指那样，你可以稍微探一探，需要的时候稍微变形一点？我觉得这非常有意思。

为了方便大家抱团交流、互通会议消息，我们专门建了 ECCV 2026 参会交流群！进群你会解锁这些「福利」?

会议情报站：投稿 DDL、格式规范、评审进度……关键节点第一时间送达，再也不怕错过 deadline，投稿准备稳稳的。
同行茶话会：天南海北的同行都在群里，聊心得、碰思路、攒人脉，科研路上我们同行。
前沿补给站：最新研究成果、热点方向实时同步，结合会议主题帮你捋清投稿脉络，给论文灵感加满油。
现场后援团：（会议期间专属开启）：到了会场也不用慌——

路线导航：场馆分布、报告厅怎么走，群里随时问；

议题共读：热门 session、Keynote 现场探讨，错过也能追；

Poster 汇编：现场海报精华整理，一键收藏不遗漏；

约局广场：约饭局、采访局、交流局……想唠嗑、想合作、想面基，群里发起就成。

? 进群传送门： 扫码进群或添加微信Qvv0909777，备注：ECCV + 单位/学校+姓名+方向。

搞科研/搞技术，信息差很重要。

来，一起快人一步！

上车，带你看遍全球 AI 顶会精华

可独家畅览：

专家演讲PPT

大会报告全文

热门论文解读

学术新星访谈

扫描上方二维码

或点击「阅读原文」关注雷峰网专区。