ACM TOG｜仅通过手机拍照就可以对透明物体进行三维重建

主要观点总结

本篇文章介绍了中科院计算技术研究所、加州大学圣芭芭拉分校和KIRI Innovations的研究团队提出的NU-NeRF方法，该方法能够在不需要额外输入和特殊捕捉场景的情况下对嵌套透明物体进行重建。研究目标是解决塑料、玻璃等透明材质的重建任务，针对此问题，论文作者提出了NU-NeRF，它是一种新的嵌套透明物体重建管线。研究方法包括两步：第一步重建外层几何，第二步利用重建得到的显式外层几何在内部进行第二次重建。

关键观点总结

关键观点1: 研究背景

塑料、玻璃等透明材质的日常重建任务具有挑战性，因为光线在透明材质表面发生折射，产生高度不连续的表面颜色，且此颜色十分容易和背景混淆。

关键观点2: 现有方法的问题

已有的方法需要额外的捕捉设备、捕捉环境或输入信息（如掩膜等），无法让用户在随机的环境下进行拍摄重建；并且在使用先验的过程中假设了光线在物体内部没有遭到遮挡和反射，只经过两次折射，所以无法重建嵌套的物体。

关键观点3: NU-NeRF的方法

NU-NeRF是一种新的嵌套透明物体重建管线，通过神经渲染方法和显式光线追踪两步进行重建。对外层几何的重建是至关重要的一步，因为它直接影响了第二步的内层几何质量。NU-NeRF解决折射二义性的方法是分开建模透明表面的反射和折射，对反射颜色进行准确建模，对折射颜色直接利用一个MLP网络进行预测。

关键观点4: 实验效果

NU-NeRF在合成、实拍数据集上的实验效果表明，该方法能够准确重建出外层几何，并较为准确地重建出内层几何。

关键观点5: 总结与展望

NU-NeRF的核心思想是将复杂的嵌套透明物体重建问题简单化，并分为两步进行重建。通过牺牲新视角合成准确性来提高几何重建的准确性。有了外层几何的准确重建，就去除了问题中的大部分二义性，并可以利用显式光线追踪来进行内层几何的重建。

免责声明