机器心脏报告
编辑：魔鬼，杜威，周晓
光照是图像处理的重要步骤，光照的好坏可能会影响整体效果的显示。有不同的照明方法。麻省理工学院、谷歌等的一项新研究。已经找到了一种新的方法，并且通过神经光传输方法进行图像的二次照明和视图合成已经取得了相当好的效果。
图像合成不再是一个新的话题，但“光照”对所有照片来说都是一个难题。对于人类摄影师来说，灯光相当复杂，那么如何解决合成图像中的光线问题呢？
最近，来自麻省理工学院、谷歌和加州大学圣地亚哥分校的研究人员进行了一项研究，试图通过神经光传输(NLT)重新照亮图像和视图合成。
那么，本研究中提出的NLT方法有多有效？研究人员在几个场景中进行了测试，包括定向重光照、基于不同图像背景的光照、根据不同相机路径进行视图合成后的光照效果等等。
效果看起来不错，但有点像鬼片.(颤抖
具体来说，在定向重新点燃场景中，NLT实现了以下效果：
在基于图像的重光照场景中，角色的光照效果会随着背景图像的变换而不断调整：
那么说到观作文，效果如何呢？
二次照明和视图合成同时进行怎么样？
NLT是如何达到这种效果的？让我们看看论文的细节。
NLT论文简介
地址：https://arxiv.org/pdf/2008.03806.pdf
页面：http://nlt.csail.mit.edu/
场景光传输(LT)描述了不同光照和视角下场景的外观。全面了解场景LT有助于在任何照明条件下合成新视图。
本文讨论了基于图像的LT采集，主要用于人体在照明平台的设置。研究人员提出了一种半参数方法来学习嵌入在具有已知几何特征的纹理图谱空间中的LT的神经表示，并将所有非漫反射和全局LT建模为残差，并将其添加到物理精确的漫反射基础渲染中。
具体而言，本研究展示了如何融合先前看到的光源和视图观察结果，并基于所选视点和预期照明条件合成同一场景的新图像。
这种策略允许网络学习复杂的材质效果(如亚表面散射)和全局光照，同时保证漫反射LT(如硬阴影)的物理正确性。有了这个学习的LT，我们可以使用平行光或HDRI贴图以逼真的方式重新照亮场景，合成一个具有视图相关效果的新视图，或者使用一组先前观察到的稀疏结果在统一的帧中同时执行重新照明和视图。
合成这两种操作。该研究通过定性和定量实验表明，NLT 方法优于当前最优的二次打光和视图合成解决方案，并且不需要像先前工作那样，对这两个问题进行单独处理。
NLT 方法的大致流程。
该研究的主要贡献有：
提出一种端到端的半参数方法，使用卷积神经网络从实际数据中学习对每个对象的 6D 光传输函数进行插值。
通过将网络嵌入参数化纹理图集，并利用一组 One-Light-at-A-Time（OLAT）图像作为输入，实现可同时执行二次打光和视图合成的统一框架。
提出了一组增强的纹理空间输入和一个基于物理精确漫反射基底的残差学习机制，使得网络能够轻松学习非漫射、高阶光传输效应（包括镜面高光）、次表面散射和全局照明。
NLT 方法
研究者使用的框架是一个具备残差学习机制的半参数模型，旨在缩小几何代理（geometry proxy）的漫反射渲染与实际输入图像之间的真实感差距，具体如下图 2 所示。
半参数方法用于融合先前记录的观察结果，以在任何预期的光照和视角下生成新的逼真图像。该方法得益于近年来计算机视觉领域的进展，使研究人员可以对人体对象实现精准的 3D 重建。
图 2：之前的 Relightables 方法（Guo 等人，2019 年）、该研究提出的 NLT 方法和真实图像之间的真实感差距。
NLT 方法的模型架构如下图 4 所示：
模型网络包含两个路径，分别是查询路径（Query Path）和观察路径（Observation Path）。其中「观察路径」以基于目标光源和视角方向采样的 K 个临近观察结果（作为纹理空间残差图）为输入，并将它们编码成多尺度特征，最后将这些特征池化以消除对顺序和数量的依赖。
接着，将这些池化特征连接至「查询路径」的特征激活函数，「查询路径」以预期光源和视角方向（以余弦图的形式呈现）以及物理精确的漫反射基底（也在纹理空间中）作为输入。查询路径预测残差图，然后将其添加至漫反射基底，以生成纹理渲染结果。
由于整个网络都嵌入在人体对象的纹理空间中，所以我们可以根据输入和监督信号训练同一个模型来分别执行二次打光和视图合成，或者同时执行这两个操作。
实验结果
二次打光
如下表 3 所示，研究者对 NLT 方法与 Diffuse Base、Barycentric Blending、Deep Shading 等其他二次打光基线方法进行了定量评估，以 PSNR（峰值信噪比）、SSIM（结构相似性）和 LPIPS（学得感知相似性）作为评估指标。
此外，研究者还对 NLT 方法进行了控制变量研究。
结果表明，NLT 方法的性能优于所有的基线方法，但 Diffuse Rendering 和 Barycentric Blending 等简单的基线方法也取得了较高的分数。
表 3：NLT 与其他 SOTA 二次打光方法的指标对比以及 NLT 的控制变量研究结果。
图 7：在使用平行光的二次打光任务上，NLT、其他方法与真值图像的效果对比。
视图合成
如下表 4 所示，研究者对 NLT 和其他基线二次打光方法的视图合成效果进行了定量分析，结果表明 NLT 优于所有的基线方法，并且效果可以与 Thies 等人（2019 年）提出的仅执行视图合成但不进行二次打光的方法相当。
表 4：NLT 与其他基线二次打光方法的视图合成指标对比。
图 9：NLT、其他基线方法与真值图像之间的视图合成效果对比。
图 10：同时执行二次打光和视图合成的效果展示。
性能分析
最后，研究者分析了 NLT 方法在不同因素下的性能表现。结果表明，随着几何结构的退化，该研究使用的神经渲染方法始终优于严重依赖几何图形质量的传统重投影（reprojection）方法。在执行二次打光时，研究者还证实 NLT 方法在光源数量减少时也能合理地运行，表明 NLT 方法也有可能适用于更小的光照平台。
控制变量研究
如下图 13 所示，研究者在二次打光任务上进行了 NLT 方法的控制变量研究。结果显示，去除模型的不同组件会不同程度地降低渲染质量。
失败案例
当然，NLT 方法在视图合成时也出现了失败的案例。如下图 14 所示，NLT 方法可能无法生成复杂光传输效果的真实视图，如脖子上所戴项链的视图。