将照片转为素描DL模型

2020-12-21 04:12:50

单击下面的图片,以了解有关colab演示的更多信息,感谢Bhavesh Bhatt提供的出色的YouTube视频。

让我们对线稿肖像进行卡通化,它仍在制作中,但请看一些漂亮的图片。

该模型产生的惊人结果给它带来了秘密。最初的模型无法创建我所期望的那种输出,它主要在识别面部特征方面遇到困难。即使(https://github.com/yiranran/APDrawingGAN)产生了不错的效果,但它仍然存在一些局限性,例如(与ID照片类似的正面照片,最好具有清晰的面部特征,没有眼镜,没有长条纹。)我想打破-并产生可以识别任何姿势的结果。在脸部,眼睛,嘴唇和鼻子周围是否达到适当的线条取决于您提供给模型的数据。仅APDrawing数据集还不够,因此我不得不组合从Anime sketch着色对数据集中选择的照片。组合的数据集帮助模型更好地学习了直线。

电影海报是由ArtLine即时创建的,虽然效果不理想,但我不是艺术家。

自我注意(https://arxiv.org/abs/1805.08318)。生成器是经过预训练的UNET,具有频谱归一化和自我关注功能。我从Jason Antic的DeOldify(https://github.com/jantic/DeOldify)获得的东西产生了巨大的变化,突然之间,我开始获得有关面部特征的适当细节。

逐步调整大小(https://arxiv.org/abs/1710.10196),(https://arxiv.org/pdf/1707.02921.pdf)。渐进式调整大小采用了逐渐增加图像尺寸的想法。在此项目中,图像尺寸逐渐增大,并且学习率得到了调整。多亏了fast.ai使我能够逐步调整大小,这可以帮助模型更好地泛化,因为它可以看到更多不同的图像。

惊喜!!没有批评家,没有GAN。 GAN并没有太大的改变,所以我对No GAN感到满意。

任务是创造一些东西,将任何个人照片转换为艺术线条。最初的工作有助于识别线条,但是仍然需要通过阴影和衣服大大改善模型。我所有的努力都是为了改进模型并使单击线条艺术。

APDrawing数据集主要由特写肖像组成,因此该模型将难以对衣服,手等进行重新着色。为此,使用了从Anime sketch着色对中选择的图像。

我希望我很清楚,因为它仍然在随机背景下挣扎(我正在创建自定义数据集来解决此问题),因此希望进一步改进该模型。对图像进行卡通化从来都不是项目的一部分,但是以某种方式出现了,而且还不错!!还有很多需要改进的地方。当看起来令人印象深刻以至于无法炫耀时,我将发布卡通化模型。

获得出色的输出取决于照明,背景,阴影和照片质量。您一开始就能获得不错的成绩,但也有可能出现问题。该模型尚不存在,仍需要进行调整以吸引所有消费者。这对于可能会更改最终输出的" Artisits /艺术家来说可能很有用。

我不是编码人员,请接受我的不良代码和文档。将确保我在即将进行的更新中有所改进。

该代码的灵感来自Fast.AI的第7课和DeOldify(https://github.com/jantic/DeOldify),请看一下Lesson笔记本(https://github.com/fastai/course- v3 / blob / master / nbs / dl1 / lesson7-superres-gan.ipynb)

此存储库中的所有代码均由LICENSE文件指定的MIT许可证使用。