【ETHZ博士论文】二维和三维生成模型在现实世界约束下

主要观点总结

本文介绍了论文的重点是解决二维和三维生成模型中的现实世界约束，包括提高类条件生成对抗网络的数据效率、防止模式崩溃的训练策略、解决NeRF-GAN的计算效率问题，以及实现三维场景中物体生成的新任务等。文章还介绍了数据派THU的相关信息。

关键观点总结

关键观点1: 解决二维和三维生成模型中的现实世界约束

论文主要关注如何通过迁移学习提高类条件生成对抗网络的数据效率，并研究使用小数据集训练类条件GAN的情况。同时，论文解决了NeRF-GAN的计算效率问题，并实现了三维场景中物体生成的新任务。

关键观点2: 提高类条件生成对抗网络的数据效率

通过引入类特定迁移学习方法cGANTransfer，根据旧类与新类的相关性明确传播知识，提高了类条件生成对抗网络的数据效率。

关键观点3: 解决GAN中的模式崩溃问题

针对小数据集上的条件GAN训练引起的模式崩溃问题，提出了一种基于过渡条件的训练策略，有效防止了模式崩溃，并同时利用无条件学习。

关键观点4: 解决NeRF-GAN的计算效率问题

通过重新审视姿态条件的二维GAN，提出了一种简单有效的方法，利用预训练NeRF-GAN的良好解耦潜在空间，在姿态条件的卷积网络中进行高效推理，直接生成与基础三维表示相对应的三维一致性图像。

关键观点5: 实现三维场景中物体生成的新任务

介绍了InseRF方法，这是一种用于在三维场景的NeRF重建中生成对象插入的新技术。基于用户提供的文本描述和仅在参考视点中的二维边界框，InseRF能够在三维场景中进行可控且三维一致的物体插入。