首页 > 百科知识 正文

其中的原理你知道吗(这到底是什么原理)

时间:2023-11-22 07:13:35 阅读:189 作者:心痛难眠

最近几天,一款名叫“ZAO”的换脸软件,火爆网络,各大社交平台被换脸视频刷屏。和之前的Deepfakes软件类似,“ZAO”也是一款可以实现视频换脸功能的软件。

半年前,一位网友利用换脸技术将饰演94版射雕英雄传黄蓉的朱茵换成了杨幂,瞬间走红网络。

其中的原理你知道吗(这到底是什么原理)-第1张

而现在,这款名为“ZAO”的换脸软件,仅需要一张个人照片就可以把你的脸放进各类影视剧中,制造出一个小视频,满足你当主角的愿望。但在欣喜之余,个人隐私问题也需注意,因为“ZAO”的用户协议中要求用户同意“授予‘ZAO’及其关联公司以及‘ZAO’用户全球范围内完全免费、不可撤销、永久、可转授权和可再许可的权利”,这项权利不仅包括对用户上传内容进行部分或全部修改,还包括对用户肖像权的使用及改动。

其中的原理你知道吗(这到底是什么原理)-第2张

虽然换脸这类软件极具吸引力,但可能会引发道德和伦理上的问题,这是亟待解决的问题。

换脸基本原理

早在2014年,Ian Goodfellow发表了一篇名为“Generative Adversarial Nets”,作者提出了一种新的在对抗过程中生成模型的框架,包括一个捕获数据分布的生成模型G和判别模型D。这个框架可以说奠定了早期的换脸技术的基础,这篇论文也被称为“让AI拥有了想象力”。

其中的原理你知道吗(这到底是什么原理)-第3张

论文链接:https://www.aminer.cn/archive/5550415a45ce0a409eb3a87b

其中的原理你知道吗(这到底是什么原理)-第4张

作者简介链接:https://gct.aminer.cn/eb/gallery/detail/eb/5b2b534cf883d040b3549b13

简单来说,换脸技术首先需要对人脸进行识别的侦测,读取人脸的表情特征,通过深度学习处理,将得到的人脸信息还原到正面、正常的环境下(视频中人脸进行同样的处理)。之后就是最为关键的人脸替换环节,一般通过VEN或GAN的方式进行人脸信息的替换。最后,针对视频的每一帧进行如上操作就可以完成视频换脸。

今年,一篇被称为最强换脸算法的论文“Few-Shot Adversarial Learning of Realistic Neural Talking Head Models”引起了广泛地关注,作者提出了一种仅仅几张目标人脸图像,就能将视频中其他的人脸换成目标人脸,且效果极其逼真。

其中的原理你知道吗(这到底是什么原理)-第5张

作者基于GAN的元学习,在一个大数据集上训练,在测试阶段,仅仅需要几张目标人脸,就能很好的做到域的迁移。这篇论文借鉴了很多风格迁移和GAN网络的思路。包括adaptive instance normalization, spectral normalization, self attention 等。

其中的原理你知道吗(这到底是什么原理)-第6张

因为采用对抗学习,所以有两个损失函数交替训练,分别是:

其中的原理你知道吗(这到底是什么原理)-第7张

其中的原理你知道吗(这到底是什么原理)-第8张

实验数据

其中的原理你知道吗(这到底是什么原理)-第9张

实验结果

其中的原理你知道吗(这到底是什么原理)-第10张

其中的原理你知道吗(这到底是什么原理)-第11张

其中的原理你知道吗(这到底是什么原理)-第12张

论文链接:https://arxiv.org/pdf/1905.08233.pdf

版权声明:该问答观点仅代表作者本人。如有侵犯您版权权利请告知 cpumjj@hotmail.com,我们将尽快删除相关内容。