首页 > 资讯 > 浙大 × 字节 × 港中深最新研究：告别高斯堆砌，终结 3D 冗余｜ECCV 2026

浙大 × 字节 × 港中深最新研究：告别高斯堆砌，终结 3D 冗余｜ECCV 2026

雷锋网 2026-09-10 17:30 1 阅读 查看原文
3D技术 字节跳动 研究突破
为什么字节要把“空间表示”的体积压掉 90%？

    作者丨吴思梦

    编辑丨岑   峰

                                                                                                       

如果有一天，沉浸式直播里的每一个主播都拥有一个实时跟随的 3D 分身，观众可以在任何角度切进去和他对话，看到他的表情、衣服褶皱、头发飘动的细节，那么这个 3D 分身究竟应该有多大？  
这不是一个凌空蹈虚的问题，已经逐渐落定变成一个非常具体的工程问题。  
过去几年，3D Gaussian Splatting（3DGS）让“从一堆照片里恢复出可以实时渲染的 3D 场景”这件事，第一次变得既真实又快速。今天的 AI 已经非常擅长从多视角图像中重建 3D 世界，而且这个世界的视觉质量已经接近照片级。
3D Gaussian Splatting 从多视角图像重建场景，并支持新视角合成。
图源：Kerbl et al., SIGGRAPH 2023
最直接的例子就是 3D Gaussian Splatting（3DGS） 本身。2023 年的原始论文就是从多张带相机位姿的照片/视频中建立一个 3D Gaussian 表示，然后从没有真正拍摄过的视角渲染新画面。论文的核心贡献之一，就是同时做到高视觉质量和实时渲染。
你可以把它想象成这样：
你拿着手机围着一个房间拍了一圈照片。AI并没有把这些照片简单拼起来，而是从它们之间的关系推断出一个三维表示。然后你把“虚拟摄像机”放到原来没有拍过的位置，AI依然可以给你渲染出一张看起来像真实照片的画面。
这就叫 Novel View Synthesis，新视角合成。
但接下来发生的事情，把这个能力推到了另一个问题面前。  
当 3D 不再只是离线建模出来的城市或物体，而是要实时地跟着一个人跑、跟着一个房间转、跟着一次直播传输给成千上万的设备时，问题就从“AI 能不能生成一个 3D 世界”落到了另一个更为朴素的问题：这个 3D 世界，能不能装得下、传得动、跑得起来？  
在 ECCV 2026，浙江大学、字节跳动与香港中文大学（深圳）团队的 PointSplat 被收录为会议论文，聚焦面向人体的紧凑型 Gaussian Splatting，正是从这个问题出发的。
论文给它的定位写得很克制：让 3D 人体表示（3D human representations）变得更加紧凑，目标场景是沉浸式直播（immersive live streaming）。它没有声称要解决“所有 3D 表示的存储危机”，但它指出了一个更普遍的方向。
当 3D 开始成为 AI 理解和生成现实世界的重要表示，“表示本身的紧凑性”会变成一个绕不过去的问题。  
图片

01


高斯的代价：越真实，就越重

要理解 PointSplat 在做什么，必须先理解 3DGS 在做什么。  
3DGS 的基本想法是把一个 3D 场景拆成大量“高斯椭球”。每一个高斯都记录着自己的位置、尺度、旋转方向、透明度，以及外观信息。成千上万、几十万个这样的高斯一起渲染，就构成了一个看起来真实的 3D 世界。  
这种表示有三个非常突出的优点：真实、可渲染、速度快。 它让神经辐射场（NeRF）时代的“高质量但慢”第一次变成了“高质量且实时”。  
但它也带来了一个非常直接的代价。  
高斯数量越多，显存占用越大，计算开销越高，存储体积越大，传输带宽要求也越严格。当场景从一栋楼变成一个城市，从一个静物变成一个需要实时跟着动的人，这些成本都会被迅速放大。  
图片来源：Papantonakis et al., I3D 2024
于是过去几年里，3D 研究里出现了两股并行的力量。  
一股继续在追问“如何更高质量地还原世界”，即更清晰的几何、更逼真的光影、更稳定的视角一致性。另一股则开始追问另一个看起来没那么性感、但迫在眉睫的问题：  能不能用更少的 3D primitives，表达同样的世界？  
PointSplat 属于后者，但它走了一条和“剪枝”“压缩”“量化”都不太一样的路。它不是在已经生成好的高斯上做减法，而是想从一开始，就少生成一些。  
图片

02


从视角中心，

到“围绕一个人只建一次”  

过去一段时间里，一种非常流行的做法是 view-centric（以视角为中心） 的 3DGS 预测。它的逻辑非常直觉化：给定一张图像，模型预测出一批高斯；换一个视角，再预测一批；多视角的高斯融合在一起，组成并呈现最终的 3D 表示。  
这种做法的好处是模块清晰、训练稳定。  
但它有一个非常隐蔽的问题。 同一个人，明明只有一个身体。 然而在 view-centric 框架下，每一个视角都被要求“独立地”预测一遍这个人的高斯。这意味着：肩膀被编码了一次，侧面被编码了一次，背后又被编码了一次；同一个主体的几何和外观信息，被不同视角的模型反复存了好几份。  
论文里把这个现象叫做 inter-view redundancy，跨视角冗余。 
这是 PointSplat 真正想解决的事情。它不是来单纯地“压一压”高斯的，而是来改变“高斯到底是怎么被预测出来的”这件事。  它的核心思路可以浓缩成一句话：从 view-centric 转向 human-centric（以人为中心）。  
图源：Guo et al., ECCV 2026
具体怎么做，可以拆成三个步骤。  
第一步，模型不再急于从图像里直接吐高斯。它会先估一个非常粗的、围绕这个人的几何 proxy（代理体），相当于一个非常粗糙的“人体在哪、长什么样”的空间轮廓。  
第二步，基于这个 proxy 做 ray casting（光线投射）。从每个相机视角投出射线，打到 proxy 上，把那些根本不在人体上、或者从当前视角看不到的 3D 点直接筛掉。这一步的目的不是“重建精细几何”，而是“提前把没用的点排除掉”。  
第三步，模型拿到这个筛过的、共享的 3D 点集，再用 Point-Image Transformer 把多视角的几何信息和外观信息融合起来，直接预测 Gaussian attributes，也就是每一个高斯最终的位置、尺度、旋转、透明度和外观。  
整个流程的关键变化在于：预测的空间变了。  
图源：Guo et al., ECCV 2026
原来是“图像 → 像素 → 高斯”，每一个视角都各自为政。现在变成了“多视角图像 → 一个共享的 3D 点集 → 高斯”，所有视角共同服务于同一个 3D 表示。  
用一句更接近直觉的话讲：  问题不一定是 3D 世界里有太多东西，而是 AI 可能把同一个东西看了几遍，就存了几遍。  
这句话大概是理解 PointSplat 最重要的钥匙。它把“压缩”这个听起来像是工程优化的词，重新拉回到了一个更本质的问题——3D 表示到底应该以什么为单位来组织？  
如果未来 3D 表示要成为 AI 的基础设施，那它组织的单位，很可能不再是“视角”，也不再是“高斯的数量”，而是被表示的那个主体本身。  
图片

03


一项工作与一个方向：

3DGS 的范式迁移 

如果只看 PointSplat 这一篇论文，很容易把它当成一次“压缩算法的工程改进”。但如果把它放进 3DGS 整个技术演进的时间线里，会看到一个更有意思的趋势。  
过去几年里，3DGS 的主流使用方式是 per-scene optimization（单场景优化）。也就是说，对每一个场景、每一段视频、每一组照片，都要单独跑一遍优化流程，最终才能得到一份高斯表示。这种方式质量很好，但代价是“一个场景训练一次”，难以泛化，也很难实时。  
而 PointSplat 走的是另一条路：feed-forward reconstruction framework（前馈式重建框架）。给定稀疏的多视角图像，模型不需要为这一组输入专门训练，而是直接预测出一份紧凑的 Gaussian representation。  
这件事的意义不在于“它比单场景优化快了”，而在于它代表了一个方向的转向。 过去的范式是“拍照片 → 单场景优化 → 得到 3DGS”。  现在的范式开始变成“多视角输入 → 模型直接预测 → 得到 3D 表示”。  
用更直白的话讲：3DGS 正在从一种“场景级别的优化结果”，变成一种“模型级别的生成能力”。  这是一个非常关键的差别。  
前者意味着每个场景都是孤岛，要重建就要重新算一遍。  后者意味着模型学会了“如何从图像里读出 3D”，这件事可以泛化到新的主体、新的视角、新的设备。  而 PointSplat 在这个转向里，又叠加了一层自己的判断：即便模型已经可以前馈式预测 3D 了，预测的方式也要从 view-centric 改成 human-centric，否则跨视角冗余会白白吃掉大量的表示空间。  
把这两件事合在一起看，能看到一条线：  
per-scene optimization → feed-forward prediction → human-centric / subject-centric prediction  
3D 表示正在从“每个场景算一遍”慢慢走向“模型学会如何表示 3D”，而 PointSplat 是这条线上一个非常具体的、针对人体的回答。  
这也是为什么这次工作的署名名单值得单独看一眼。  
浙大这边，是长期深耕 3D 视觉、计算机图形学和几何方向的团队，包括 Hujun Bao、Sida Peng、Xiaowei Zhou 等研究者，他们在 3DGS、可微渲染、点云学习这一串技术栈上有非常深的积累。  
字节跳动这边，Jing Zhang、Xianchao Shen 等作者参与了这篇工作，但公开材料里并没有给出明确的业务部署信息。我们可以合理地把字节的参与理解为它在 3D / 数字人 / 直播相关技术上的投入。
港中大（深圳）的 Lingteng Qiu 同样参与其中，这也是港中深近年来在图形学、3D 视觉方向上比较活跃的一个侧写。  
需要诚实地说一句：三方在这篇工作里共同瞄准的，是论文里写得很清楚的那个应用场景——immersive live streaming（沉浸式直播）。至于未来这套方法能不能走进数字人、VR/AR、远程交互、空间智能，仍然是值得讨论的产业想象。
图片

04


更轻的表示：3D 的未竟之问

如果把视角再拉长远一点，会发现 PointSplat 其实不只是关于“压缩了多少高斯”。 
它指向的是一个更普遍的问题：当 3D 表示开始成为 AI 基础设施的一部分，它应该用什么样的方式存在？  3DGS 的第一个阶段解决的是“如何让机器快速生成一个看起来真实的 3D 世界”。这件事已经基本完成了。从几张照片到一个可以实时渲染的场景，从静物到城市，从离线到准实时。  
但 AI 不只是需要“看见”世界。它还需要保存、传输、理解和生成世界。  这就意味着，3D 表示开始同时面对一组相互拉扯的指标：  
• 质量：看起来够不够真。  
• 数量：能不能表示足够复杂的世界。  
• 计算：能不能在普通设备上跑得动。  
• 传输：能不能在合理带宽下流动。  
• 泛化：能不能不靠每个场景单独训练。  
过去这些指标往往是分别被讨论的。PointSplat 把其中的“紧凑性”和“泛化能力”绑在了一起——通过 human-centric 的预测方式，让同一组多视角输入生成的 Gaussian 表示既更小，又更集中于真正的主体。  
而这，只是其中一个非常具体的问题。围绕“3D 表示到底应该长什么样”，正在形成一个越来越密集的研究和工程地带。  
沿着这条线再往前想一步，会发现一个更大的画面正在浮现：图像曾经是互联网的“通用语言”，视频是它的延伸。今天，文本和图像是大型模型训练和推理的主要载体。 
而 3D 表示，无论是高斯、点云、网格、还是它们的混合体，都很可能正在成为下一阶段 AI 基础设施的一部分。  
到那个时候，问题就不只是“AI 能不能生成 3D”。  
或许是“AI 究竟应该用什么方式，保存一个世界”。  PointSplat 没有回答这个问题，它只是把这个问题从一个抽象的担忧，变成了一个具体可做的工程方向。它也没有改变 3D 产业，更没有让“3D 危机”被某个中国团队一夜解决。
PointSplat 与其他方法的新视角合成结果对比  
图源：Guo et al., ECCV 2026
但它做对了一件事，它在所有人都还在卷“更真实”的时候，提前问了一句“够不够轻”。  而当 3D 真的开始进入直播、进入数字人、进入机器人和空间智能，这句话很可能会被反复提起。  
图片

05


最后 

3DGS 把世界变成了可以实时渲染的高斯。PointSplat 进一步追问：如果这个世界真的要被大规模传输、理解和交互，它能不能更轻一点？
这个问题其实提前触碰到了 3D 表示的下一阶段：当画质和渲染速度逐渐逼近瓶颈，竞争的焦点也会从“把世界还原得多逼真”，转向“如何用更少、更合理的表示，把一个 3D 世界组织起来”。
而在这场竞赛刚刚开始的时候，中国的研究力量已经站在了一个非常具体的位置上，用一篇 ECCV 2026 的正会论文，认真回答一个工程上绕不开的小问题。  
小问题，往往才是大趋势真正开始的地方。
论文链接：https://arxiv.org/abs/2606.32036?utm_source

为了方便大家抱团交流、互通会议消息，雷峰网专门建了 ECCV 2026 参会交流群！进群你会解锁这些「福利」?

  • 会议情报站：投稿 DDL、格式规范、评审进度……关键节点第一时间送达，再也不怕错过 deadline，投稿准备稳稳的。

  • 同行茶话会：天南海北的同行都在群里，聊心得、碰思路、攒人脉，科研路上我们同行。

  • 前沿补给站：最新研究成果、热点方向实时同步，结合会议主题帮你捋清投稿脉络，给论文灵感加满油。

  • 现场后援团：（会议期间专属开启）：到了会场也不用慌——

    路线导航：场馆分布、报告厅怎么走，群里随时问；

    议题共读：热门 session、Keynote 现场探讨，错过也能追；

    Poster 汇编：现场海报精华整理，一键收藏不遗漏；

    约局广场：约饭局、采访局、交流局……想唠嗑、想合作、想面基，群里发起就成。

? 进群传送门： 扫码进群或添加微信Qvv0909777，备注：ECCV + 单位/学校+姓名+方向。

搞科研/搞技术，信息差很重要。

来，一起快人一步！

上车，带你看遍全球 AI 顶会精华

可独家畅览：

专家演讲PPT

大会报告全文

热门论文解读

学术新星访谈

扫描上方二维码

或点击「阅读原文」关注专区。

相关推荐