李林编译整理
量子报道|公众号QbitAI
制作VR沉浸式电影时，AI能起到什么作用？
Facebook进行了一些尝试，将基于对抗生成网络(GAN )、风格迁移等方法的图像生成和处理技术应用于电影后期。
而且是VR电影。
Facebook巴黎AI研究院最近与电影制作公司的OKIO工作室、Saint jkddx VFX工作室和导演Jrme Blanquet合作，完成了新的VR电影《Alteration》。
AI研究者们必须与电影制作团队合作，首先解决最基本的问题。 向电影制作小组清楚地展示AI能做什么。 这样，电影制作团队就可以决定在电影中如何使用AI，在哪里使用。
他们尝试了基于GAN的自动编码器和样式迁移两种特效方法，并选择了样式迁移。
Facebook的研究小组在昨天发表的博客文章中说，GAN自动编码器在科研环境中发挥了良好的作用，但生成的特效没有达到电影制作小组的期望。
不习惯“风格转移”这个词的人，看看下图一定会明白。
风格的转移这两年非常火热，研究界不断生产让风格转移更加现实和创造性的论文和代码，在各种处理图像和视频的风格转移的APP中也层出不穷。
将风格转向VR电影面临两大挑战。
一个是，从技术上看，VR电影是高分辨率的360度立体图像，这种图像给风格迁移带来了存储和处理时间的限制，而且风格迁移在3D图像中有何效果，还是个未知数；
二是技术团队优化算法的依据不再是可量化的指标，而是导演的审美情趣。
Facebook巴黎AI研究院的技术团队从三个方面解决了这个挑战。
首先，他们必须选择从17种Julien Drevelle作品中派生出来的目标风格，训练用于修改电影中框架的神经网络。
最初，我们训练的是以128128像素的分辨率迁移神经网络的图像，但将该神经网络应用于VR电影后，我们发现所处理的图像非常大。 为此，Facebook团队后来用768768的图像重新训练了这个神经网络。
训练结束后，将每个目标样式套用至一个影格，以产生高解析度的测试影像，然后调整样式效果的强度，建立25个不同的高解析度输出影格。 这个过程对导演选择什么风格非常有效，FAIR可以从视频专业的角度决定好的风格转移。
以下是几个例子。 可以看到风格迁移带来的效果。
最后，需要将模型应用于场景的视频帧。 在每个GPU中，这些型号需要约100GB的图形内存，因此更改为CPU。 总共使用550个CPU时对所有帧进行编码。 当然，也必须确保双眼看到的立体效果一致。
在这部电影中，第一次实现了向VR的风格转换。 这表明AI现在作为电影人的创作工具已经十分成熟。
昨天已经陈列在Oculus的店里了。 在Oculus Rift和三星服务器上都可以看到：
3559 www.oculus.com/experiences/rift/1514447601900695 /
如果没有VR设备，上面的链接也有正常版的花。
【完】