ECCV 2024 | 像ChatGPT一样，聊聊天就能实现三维场景编辑

主要观点总结

本文介绍了机器之心AIxiv专栏及其报道内容，重点介绍了一个名为CE3D的交互式三维场景编辑框架。该框架由大语言模型驱动，可集成任意数量视觉模型，突破现有文本驱动3D场景编辑方法的限制。CE3D将3D场景的编辑变成2D空间上图集的编辑，通过Hash-Atlas网络实现场景视图和图集之间的映射。文章还介绍了CE3D的方法流程、核心思想、技术细节及与其他方法的对比。

关键观点总结

关键观点1: 机器之心AIxiv专栏概述

机器之心发布学术、技术内容的栏目，过去数年接收了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。

关键观点2: CE3D框架介绍

一种由大语言模型驱动的交互式三维场景编辑框架，可集成任意数量视觉模型，文本形式不再受限，编辑能力不再单一。

关键观点3: CE3D方法流程

通过ChatGPT解析文本，确定是否需要视觉工具；调用模型库中的视觉工具并为其提供参数；执行视觉工具编辑图集，并映射回3D场景视图。

关键观点4: Hash-Atlas网络

将3D场景的不同视图映射到2D图集中，实现场景视图和图集之间的映射。为了满足适配已有2D多模态编辑模型的条件，设计了基于哈希结构的网络。

关键观点5: CE3D的优势

兼容任意2D和3D视觉模型，实现多模态编辑模型和3D场景表示模型间的完全解耦。具有强大的对话能力和场景编辑能力。

关键观点6: CE3D的挑战

在处理360度场景时可能会遇到挑战，需要进一步研究。