神经辐射场基于点,训练速度提升30倍,渲染质量超过NeRF

互联网 3个月前 站长
42 0

选自aXriv

作者:Qiangeng Xu等

呆板之心编译

编纂:陈萍

Point-NeRF:基于点的神经辐射场,一种高品质神经场景重修跟衬着的新方式。

2020 年是破体神经衬着(Volumetric neural rendering)暴发的一年,比方 NeRF 能够天生高品质的视图分解成果,但这种方式须要对每个场景停止优化,招致重修时光过长。另一方面,深度多视图破体(multi-view stereo)方式能够经由过程收集推理疾速重修场景多少何。

来自南加州年夜学、Adobe Research 的研讨者们提出了 Point-NeRF,该方式应用神经 3D 点云及其相干神经特点,将破体神经衬着以及深度多视图破体方式两者的长处停止联合,来建模辐射场。

在本文中,从 1000 个点开展出完全的点云:

神经辐射场基于点,训练速度提升30倍,渲染质量超过NeRF

经由过程逐渐优化最初的 COLMAP 点的衬着成果:

神经辐射场基于点,训练速度提升30倍,渲染质量超过NeRF

在基于光芒前进的衬着 pipeline 中,经由过程聚合场景名义邻近的神经点特点,Point-NeRF 能够被无效衬着。别的,Point-NeRF 可经由过程对预练习深度收集的直接推理停止初始化,发生神经点云;该点云能够被微调,比 NeRF 练习时光快 30 倍,且重修视觉品质超越 NeRF。Point-NeRF 能够与其余 3D 重修方式相联合,并经由过程一种新的剪枝跟增加机制处置这些方式中的过错跟异样值。在 DTU、NeRF Synthetics、ScanNet 跟 Tanks and Temples 数据集上的试验标明,Point-NeRF 能够超出现无方法,获得 SOTA 成果。

神经辐射场基于点,训练速度提升30倍,渲染质量超过NeRF

论文地点:https://arxiv.org/pdf/2201.08845.pdf

论文主页:https://xharlie.github.io/projects/project_sites/pointnerf/

Point-NeRF 

Point-NeRF 是基于点的神经辐射场,这是一种高品质神经场景重修跟衬着的新方式,图 2 (b)为架构图:

神经辐射场基于点,训练速度提升30倍,渲染质量超过NeRF

体衬着跟辐射场:基于物理的体衬着能够经由过程可微射线推动(differentiable ray marching)停止数值盘算。详细而言,一个像素的辐射能够经由过程一束光芒穿过该像从来盘算,在 {x_j | j = 1, ..., M} 中沿射线采样 M 个着色点,并应用体积密度累积辐射,如:

神经辐射场基于点,训练速度提升30倍,渲染质量超过NeRF

这里τ表现体积透光率,σ_j 跟 r_j 是 x_j 处每个着色点 j 的体积密度跟辐射度,Δ_t 是相邻着色样本之间的间隔。NeRF 倡议应用多层感知器(MLP)往返归如许的辐射场。本研讨提出的 Point-NeRF 应用神经点云来盘算体积属性,从而实现更快跟更高品质的衬着。

基于点的辐射场:该研讨用 P = {(p_i, f_i,γ_i)|i = 1,…N}表现神经点云,P_I 处的每个点为 i,与编码部分场景内容的神经特点向量 f_i 相干联。该研讨还为每个点调配了一个相信值γ_i∈[0,1],表现该点位于现实场景名义邻近的可能性。该研讨从这个点云反演辐射场。

给定恣意 3D 地位 x,在半径为 R 的范畴外调询 K 个相邻神经点。基于点的辐射场能够形象为一个神经模块,它从附近的神经点对任何暗影地位 x 上的视觉依附亮度 r(沿任何视觉偏向 d)跟体积密度σ停止回归,如下所示:

神经辐射场基于点,训练速度提升30倍,渲染质量超过NeRF

该研讨应用存在多个子 MLP 的相似 PointNet 的神经收集来停止回归。总体而言,该研讨起首对每个神经点停止神经处置,而后聚合多点信息以取得终极估量。

Point-NeRF 重修

Point-NeRF 重修 pipeline 可用于无效地重修基于点的辐射场。起首应用跨场景练习的深度神经收集,经由过程直接收集推理天生基于点的初始场。这个初始场经由过程点增加跟剪枝技巧进一步优化每个场景,从而实现终极的高品质辐射场重修。图 3 表现了这个任务流程,此中包括用于初始猜测跟场景优化的响应梯度更新。

神经辐射场基于点,训练速度提升30倍,渲染质量超过NeRF

给定一组已知图像 I_1、...、I_Q 跟点云,Point-NeRF 表现能够经由过程优化随机初始化的每一个点的神经特点跟存在衬着丧失的 MLP(相似于 NeRF)来重修。但是,这种纯洁的逐场景优化依附于现有的点云,而且可能十分迟缓。

因而,该研讨提出了一个神经天生模块,经由过程前馈神经收集猜测全部神经点属性,包含点地位 p_i 、神经特点 f_i 跟点相信度 γ_i ,以实现高效重修。在很短的时光内,衬着品质更好或与 NeRF 相称,然后者须要更长的时光来优化(拜见表 1 跟表 2)。

端到端重修:该研讨联合多视图点云,失掉终极的神经点云。该研讨用衬着丧失重新到尾练习点天生收集跟表现收集(见图 3),这容许天生模块发生公道的初始辐射场。该研讨还应用公道的权重在 Point-NeRF 表现中初始化 MLP,从而明显节俭了每个场景的拟适时间。

别的,除了应用完全的天生模块外,该研讨的 pipeline 还支撑应用从其余方式(如 COLMAP [44])停止点云重修,此中模子(不包含 MVS 收集)依然能够为每个点供给有意思的初始神经特点。

试验

该研讨起首在 DTU 测试集上对模子停止评价,比拟内容包含 PixelNeRF 、IBRNet 、MVSNeRF 跟 NeRF ,并用 10k 迭代微调全部方式以停止比拟。别的,该研讨仅用 1k 迭代以展现 Point-NeRF 优化效力。详细成果如下:

表 1 为差别方式定量比拟,比拟内容包含 PSNR, SSIM, LPIPS,图 6 为衬着成果。由成果可得,在 10k 次迭代之后,SSIM 跟 LPIPS 到达最佳,分辨为 0.957 跟 0.117,优于 MVSNeRF 跟 NeRF 成果。IBRNet 天生的 PSNR 成果稍好一些为 31.35,但 Point-NeRF 能够规复更准确的纹理细节跟高光,如图 6 所示。

另一方面,IBRNet 的微调本钱也更高,雷同的迭代次数,比 Point-NeRF 微调多花 1 小时,也就是 5 倍的时光。这是由于 IBRNet 依附年夜型的全局 CNN,而 Point-NeRF 应用部分点特点以及 MLP 更轻易优化。更主要的是,基于点的表现位于现实场景名义邻近,从而防止了在空场景中采样射线点(ray points),从而实现高效的逐场景优化。

神经辐射场基于点,训练速度提升30倍,渲染质量超过NeRF
神经辐射场基于点,训练速度提升30倍,渲染质量超过NeRF

固然 IBRNet 中更庞杂的特点提取器能够进步品质,但它会增添内存应用,影响练习效力。更主要的是,Point-NeRF 天生收集曾经供给了高品质的初始辐射场,以支撑高效优化。该研讨发明,即便经由 2 min / 1K 的微调迭代,Point-NeRF 也能取得十分高的视觉品质,可与 MVSNeRF 终极的 10k 次迭代成果相媲美,这也证实了 Point-NeRF 方式重修效力的高效性。

固然 Point-NeRF 是在 DTU 数据集上练习而来,但其能够很好地泛化到新的数据集。该研讨展现了在 NeRF synthetic 数据会合,Point-NeRF 与其余 SOTA 方式比拟成果,定性成果如图 7 ,定量成果如表 2。

试验成果标明,Point-NeRF_20K 显明优于 IBRNet 成果,存在更好的 PSNR、SSIM 跟 LIPIPS;该研讨还经由过程更好的多少何跟纹理细节实现了高品质衬着,如图 7 所示。

神经辐射场基于点,训练速度提升30倍,渲染质量超过NeRF
神经辐射场基于点,训练速度提升30倍,渲染质量超过NeRF

与差别场景的比拟:Point-NeRF 在 20K 迭代后,十分濒临 NeRF 在 200K 迭代练习后的成果。从视觉下去讲,Point-NeRF 在 20K 迭代后在某些情形下曾经有了更好的衬着后果,比方图 7 中的 Ficus 场景(第四行)。Point-NeRF_20K 只用了 40 分钟停止优化,而 NeRF 须要 20 + 小时,两者比拟,Point-NeRF 快了近 30 倍,但 NSVF 的优化后果只比 Point-NeRF 的 40 分钟后果略好。如图 7 所示,Point-NeRF 200K 成果包括最多的多少何跟纹理细节,并且,该方式是独一能够完整规复的方式。

<!--article_adlist[

神经辐射场基于点,训练速度提升30倍,渲染质量超过NeRF

© THE END 

转载请接洽本大众号取得受权

投稿或追求报道:content@jiqizhixin.com

]article_adlist-->

版权声明:站长 发表于 2022年3月2日 上午11:44。
转载请注明:神经辐射场基于点,训练速度提升30倍,渲染质量超过NeRF | URL导航

相关文章