文章来源于互联网:ECCV 2024 | 像ChatGPT一样，聊聊天就能实现三维场景编辑

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

• 项目地址：https://sk-fun.fun/CE3D/
• 代码：https://github.com/Fangkang515/CE3D/tree/main
• 论文：https://arxiv.org/abs/2407.06842
• 机构：北航 & 谷歌 & 旷视 

本文设计了一种由大语言模型驱动的、可集成任意数量视觉模型的交互式三维场景编辑框架，其文本形式不再受限、编辑能力不再单一。

假设场景中有 T 个视图，点在第 t 个视图中被函数映射到两个不同的 UV 坐标：

其中表示在两个 UV 空间中的坐标。参数在 0 到 1 之间，表示前景图集中像素值权重。然后使用预测在 UV 坐标中对应的前景和背景图集的 RGB 值：

其中采用哈希结构来捕捉图像中的纹理细节，并实现更快的模型训练和推理。在图集中获得像素值后，可以按如下方式重建场景视图中点P的原始像素： 

当图集被编辑后，可以通过上式还原带有编辑效果的 3D 场景的每个视图，而无需重新训练哈希图集网络。为了确保得到的图集更加自然以及避免物体过度倾斜和扭曲，在模型训练的早期阶段，仅使用来自第 0 个视图的，此时预训练位置损失定义如下：

此损失函数鼓励坐标映射后场景在第 0 个视图中的位置变化最小。此外，的预训练涉及初步通过 VQA 模型确定场景的前景及其对应的掩码，通过分割模型获得假设前景掩码为，则的预训练损失定义如下：

其中 CE 表示交叉熵损失，等式右侧第二项则鼓励和前景图集的稀疏性，这有助于前景和背景图集内容的明确分离。完成预训练后，可以通过监督图集重建视图来训练整个模型。但直接进行训练会导致背景图集中明显的区域遗漏，影响了后续的编辑任务。为了解决这个问题，本文引入了修补损失。具体而言，利用 ProPainter 模型对遮罩背景进行初步修补，生成一组新的修补视图。假设原始视图中的点 P 在修补视图中对应于，则重建损失可以表示如下：

其中 表示从场景的原始视图或修补视图中获得的真实值。此外在场景上引入刚性和流动约束：其中的目的是保持不同点之间的相对空间位置不发生剧烈变化。与此同时鼓励将不同视图的对应点映射到图集上的同一位置。因此，总损失可以表示如下：

其中仅在初始训练阶段使用。

功能太多，且能轻松扩展，代码已经开源。

文章来源于互联网:ECCV 2024 | 像ChatGPT一样，聊聊天就能实现三维场景编辑