此前,机器心报道人脸是由简笔画生成的。以及AI从人脸生成简笔画的效果如何?
先看一些效果图!
“好友”多人照片的转换效果;
还有男神基努·里维斯
效果出奇的好吗?更有趣的是,这种创建线稿的方法没有使用大多数类似工具使用的GAN。
目前这个项目在Reddit上已经变得异常火爆,名字叫ArtLine,github星量超过700。如果你想尝试自己的照片,项目作者维吉什·马德哈万也把代码放在谷歌Colab上运行。
项目链接:
https://github.com/vijishmadhavan/ArtLine
Colab地址:https://colab . research . Google . com/github/vijishmadhavan/light-up/blob/master/artline . ipynb
技术细节
惊人的艺术线采用了哪些技术?下面是详细的技术细节,包括自关注机制、画面大小的分步调整和发生器损耗功能。
自我注意机制的相关研究是伊恩·古德费勒等人的论文《自我注意生成的对手网络》。
论文:https://arxiv.org/pdf/1805.08318.pdf
据该项目的作者介绍,生成器是UNET,它已经通过频谱归一化和自关注机制进行了预训练,并借鉴了Jason Antic的DeOldify项目,从而获得关于面部特征的适当细节。
DeOldify项目地址:https://github.com/jantic/DeOldify
看到这里,可能有读者会质疑,难道不是没有用GAN吗?项目作者给出的解释是gan没有太大的影响,所以我很高兴没有gan。
在逐渐增加图片尺寸时,作者借鉴了英伟达和首尔国立大学的两项相关研究:
论文:https://arxiv.org/pdf/1710.10196.pdf
论文:https://arxiv.org/pdf/1707.02921.pdf
在这个项目中,图像大小逐渐增加,学习率也进行了调整。逐步调整图像大小可以帮助模型更好地泛化,因为它可以看到更多不同的图像。
该项目的最后一项技术源于斯坦福大学李菲菲团队2016年的研究论文《实时风格转换和超分辨率的感知损失》。
论文链接:https://arxiv.org/pdf/1603.08155.pdf
在本研究中,感知损失函数用于训练图像转换中的前馈网络。结果表明,在风格迁移任务中,本研究取得了与其他方法相似的结果,但运行速度提高了几个数量级。
虽然转换效果不错,但项目作者表示,该项目仍有以下局限性:
好的输出取决于光线、背景、阴影和照片质量。起初通常会获得良好的输出结果,但可能会出现问题。模型需要调整以适合所有用户;
模型会混淆阴影和头发,这也是项目作者正在努力解决的问题;
500px以下的低质量图片输出效果不好;
因为项目作者不是代码农民,所以代码和实现会比较困难,以后更新的版本会有所改进。
关于在ArtLine转换中没有使用GAN的事实,网友们表示了惊人的称赞!
数据城堡