论文： deepfakedetectionusingspatiotemporalconvolutionalnetworks
论文链接
目的：利用deepfake视频的时空特性提高检测准确率。 数据集： Celeb_DF，数据集包含590个真实视频(真实视频)和5639个合成视频(同步视频)，伪造视频质量较高。 模型： DFT (作为比较标准)、RCN、R3D、resnet混合3d-2d转换、resnet )2) d、I3D DFT (统计伪造过程中出现的伪像)伪像采用离散傅立叶变换压缩二维振幅谱，最后采用二分类模型进行分类。
RCN:CNN用于提取图像特征，全连通层采用LSTM对真伪视频进行分类。 模型有两个部分。 编码器：由预训练的VGG11组成，解码器：由三个隐藏层和两个全连接层的LSTM组成。
R3D )网络由一系列残差网络组成，利用3D卷积和3D池化。
resnet mixed 3D-2D卷积：混合卷积体系结构从3d卷积开始，最后使用2d卷积。 网络的第3层和更深的深度为2D。
使用RESNET(21 ) d ) 2D卷积和1D卷积来近似3D卷积，并且假设3D卷积核是2D卷积核1D:
I3D ) I3D是2D卷积网络扩展，将卷积核扩展到3D，并在imagenet上预训练Inception-V1。
照片是从论文中剪出来的
预处理：合成视频合成的唯一区域是脸部，因此文章利用RetinaFace在每帧中裁剪相同的脸部尺寸。 此外，每个模型都使用相同的随机片段(“随机剪裁”(random cropping )和时间抖动)。 实验证明R3D优于其他网络，其次是I3D网络。 代码面：
这篇文章的代码其实是前几天下载的，但是很遗憾我不知道。 我对模型还有点了解，但对数据处理的位置一点也不了解。 越来越烦躁，xbdch还是从基础开始，一口决定不做胖子，但可能会噎死。 我在那里找到了有宝的智能衣服。 其中正好有一节关于Dataset的处理。 说得非常详细。 我很感谢他。 本站链接： pytorch数据加载的初步识别
以下是关于我这门课的笔记。 ）