新智元报道
的图像着色、图像增强、旧图像恢复等是计算机视觉领域的热点问题，但用一个模型很好地实现多任务的研究还不多。
最近，GitHub用户Janson Antic发布了一个名为DeOldify的项目。 这是给旧照片着色修复的神器。
地址： https://Github.com/Jan TIC/Deoldify
让我们先来看看效果：
mariaandersonasthefairyfleurdefarineandlyubovrabtsovaasherpageintheballet“发展基础”attheimperialtheater，ST.peterrer
womanrelaxinginherlivingroom (1920，Sweden ) )。
medicalstudentsposewithacadaveraround 1890
全球之战，1890
Whirling Horse，1898
interiorofmillerandshoemakersodafountain，1899
1880 s号航空母舰
1920 s从这里开始
(请点击文末的链接查看更多结果图像)
技术细节
这是基于深度学习的模型。 具体来说，我结合了以下方法。
自助注意事项生成对抗网络(https://arxiv.org/abs/1805.08318 )。 除了generator是预先训练好的Unet之外，稍微修改了一下，使之具有频谱正规化(spectral normalization )和自我注意力(self attention )。 起初我努力实现Wasserstein GAN版本，但没有成功。 迁移到这个版本后一切都变好了。 我喜欢Wasserstein GAN的理论，但是在实践中没有成功，所以喜欢上了自证明gans。
培训结构的灵感来自进度控制办公室(https://arxiv.org/ABS/1710.10196 )。 但是，并不完全一样。 区别主要是我的版本层数保持在——，只需要逐步调整输入大小，调整学习率使大小转换成功。 最终结果基本一致的——训练速度更快、更稳定、并且可以更好地泛化。
时间-比例更新规则(https://Arxiv.org/ABS/1706.08500 )。 这也非常简单，一对一的generator/critic迭代和更高的critic学习率。
生成器损失由两部分组成。 一种是基于VGG16的基本透视丢失(或特征丢失)，它基本上只是为了复制输入图像而偏移生成模型。 第二部分是critic的洛杉矶分数。 对curious来说，Perceptual Loss本身不足以产生好的结果。 它往往只奖励棕色/绿色/蓝山，基本上这只是在测试中作弊，神经网络擅长做这些！ 这里需要注意的重要问题是GAN实际上正在学习损失函数。 这对于我们在机器学习中追求的理想来说，迈出了真正的一大步。 当然，wxdgk把以前人工编码的交给机器学习，通常能得到更好的结果。 这个项目是这样的。
这个模型的惊人之处在于，它对各种图像修改都有帮助，应该行得通。 上面的示例是着色模型的结果，但它是pipeline的一部分，可以在同一模型中开发更多的任务。
我用这个模型开发的
下一个任务是修复旧图像，使它们看起来更好，所以我的下一个项目是“defade”模型。我已经做了最初的努力，在我写这篇文章时已经处于模型训练的早期阶段。基本上，它只是训练相同的模型来重建图像，使用夸张的对比度/亮度调整来增强图像，作为褪色照片和使用旧/坏设备拍摄的照片的模拟。我已经看到了一些有希望的结果：如何启动这个项目
以上就是这个项目的要点——我希望用GAN让老照片看起来更好，更重要的是，让项目有用。
这个项目是用Fast.AI library建的。不幸的是，用的是旧版本，我还没有升级到新版本。 因此，先决条件是：
旧版本的Fast.AI library：https：//github.com/jantic/fastai
Fast.AI已有的dependencies：已有方便的requirements.txt和environment.yml
Pytorch 0.4.1（需要spectral_norm，因此需要最新的稳定版本）。
Jupyter Lab
Tensorboard（即安装Tensorflow）和TensorboardX（https://github.com/lanpa/tensorboardX）。 需要注意的是，默认情况下， progress images将每200次迭代写入Tensorboard，因此可以持续方便地查看模型正在执行的操作。
BEEFY显卡。我的是GeForce 1080TI（11GB），真希望有比11 GB更大的内存。Unet和Critic都非常大，但越大效果越好。
对于想要立即开始转换自己的图像的人：......好吧，你需要等我先上传预先训练好的权重。 一旦可用，就可以在可视化笔记本中引用它们。我将使用ColorizationVisualization.ipynb。你只需要用我上传的生成器（colorizer）的权重文件替换colorizer_path = IMAGENET.parent /（'bwc_rc_gen_192.h5'）
假设你在内存足够大的GPU（例如11 GB GeForce 1080Ti）上运行这个程序，我将保持大小约为500px。如果内存小于11GB，你可以将图像缩小，或尝试在CPU上运行。
项目地址：
https://github.com/jantic/DeOldify
【加入社群】
新智元 AI 技术 + 产业社群招募中，欢迎对 AI 技术 + 产业落地感兴趣的同学，加小助手微信号：aiera2015_3 入群；通过审核后我们将邀请进群，加入社群后务必修改群备注（姓名 - 公司 - 职位；专业群审核较严，敬请谅解）。