画画是一项手工工作。传统抠图算法主要以颜色为特征分离前景和背景,在小数据集上完成,造成了传统算法的局限性。去年年初,Adobe等机构发表论文《Deep Image Matting》,利用大规模数据集和深度神经网络学习图像的自然结构,进一步分离图像的前景和背景。今年,研究人员复制了这种方法,并将其发布在GitHub上。GitHub地址:https://github.com/foamliu/Deep-Image-Matting预训练模型地址:https://GitHub.com/foam Liu/deep-image-matting/releases/download/v 1.0/final . 42-0.0398 . hdf 5论文《Deep Image Matting》中提出的深度模型包括两个阶段:
第一阶段是深度卷积编解码网络,它以图像和相应的三分图作为输入,预测图像的alpha蒙版。第二阶段是一个小的卷积神经网络,它细化了第一个网络预测的掩码,使其具有更精确的值和锐化边缘。
模型利用这两个阶段实现了一个比较完美的抠图过程,抠图效果相当不错,连头发都能看到。
研究所提出的抠图细化网络的效果。a)输入图像。b)编码-解码级的输出。c)精炼阶段的输出结果。
复发的
不久前,这位疯狂的老师,分众传媒大数据部技术总监兼首席数据科学家,转载了这项研究,并发布在GitHub上。报告介绍了使用的框架、数据、模型、运行代码等。并显示了抠图效果以及抠图后与其他图像的合成效果,如下图所示:
第一列是输入图像和对应的trimap,第二列是输出图像和地面真相(GT),第三列是新的背景和合成图像。
从下面的第一个例子中,我们可以看到,在抠图过程中,输入图像中动物的毛发甚至腿上的一些其他颜色痕迹都可以很好地保留下来,抠图输出与新的背景图像结合的效果自然。能看出这是抠图合成的图像吗?
在下面的第二个例子中,人类头发的处理效果也很惊人,头发层次分明,与新的背景图像的合成效果也很好。
在第三个例子中,蒲公英的抠图效果也很好,但是看着最终的合成图像,似乎原始图像中的背景(蓝天)也是“抠图”的一部分.不过乍一看,还是很惊艳的~
更多例子见GitHub repo,也可以试试抠图效果哇~