Deblur-NeRF: Neural Radiance Fields from Blurry Images
论文简介:
神经辐射场(NeRF)由于其显著的合成质量,近年来在三维场景重建和新的视图合成方面得到了广泛的关注。然而,在野外捕捉场景时经常发生的由离焦或运动引起的图像模糊,严重降低了其重建质量。
为了解决这个问题,本文提出了 Deblur-NeRF,这是第一种可以从模糊的输入中恢复清晰的 NeRF 的方法。为此作者采用了一种综合分析的方法,通过模拟模糊过程来重建模糊视图,从而使 NeRF 对模糊输入具有鲁棒性。
该模拟过程的核心是一个新的可变形稀疏核(DSK)模块,它通过在每个空间位置变形一个规范的稀疏核来建模空间变化的模糊核。受物理模糊过程的启发,每个核点的光线原点被联合优化。这个模块被参数化为一个 MLP,它能够被推广到各种模糊类型。通过联合优化 NeRF 和 DSK 模块,我们可以恢复一个清晰的 NeRF。
该方法可以用于相机运动模糊和离焦模糊:在真实场景中两种最常见的模糊类型。对合成数据和真实数据的评估结果表明,本文的方法优于几个基线。
论文介绍:
在过去的几年中,新视图的合成取得了巨大的进展,从稀疏的输入视图重建中间的三维表示,以插值或推断任意的新视图。最近,NeRF 成为一种有效的场景表示方法,可以实现逼真的渲染结果。它将一