Nvidia研究人员创建了一种增强方法来训练生成对抗性网络,他们说可以将结果减少10到20倍的数据

2020-12-08 19:02:09

Nvidia研究人员已经创建了一种增强方法,用于训练需要较少数据的生成对抗网络(GAN)。 Nvidia制作了GAN,用于创作山水画之类的艺术品,最近又制作了用于视频会议的GAN。 (GAN是AI的一种形式,它使生成器网络与鉴别器网络对接以创建图像或视频。)训练GAN可能需要多达100,000张图像,但在论文“训练生成器”中详细介绍了一种称为自适应鉴别器增强(ADA)的方法数据有限的对抗性网络”,结果数据量减少10到20倍。

“使用小型数据集的关键问题在于,判别器过度适合训练示例;它对发电机的反馈变得毫无意义,培训开始出现分歧。 “我们证明,在几个数据集上,仅使用几千个图像就可以实现良好的结果,并且通常将StyleGAN2结果与数量少的图像相匹配。”

今年早些时候,来自Adobe Research,麻省理工学院和清华大学的研究人员详细介绍了DiffAugment,这是GAN增强的另一种方法。

Nvidia图形研究副总裁David Luebke告诉VentureBeat,任何在野外进行过实用数据科学的人都知道,绝大多数时间都花在了收集和整理数据上。有时将其称为ETL管道:提取,转换和加载。

他说:“仅这一项就需要大量实用的地面数据科学,我们认为这种方法非常有用,因为您不需要那么多的数据就可以得到有用的结果。”说过。

他说,当与没有时间的注释者一起工作时,这一点甚至更为重要。

该论文的作者认为,减少数据约束可以使研究人员能够检查GAN的新用例。除了创建人或动物的伪造照片外,研究人员还认为GAN可能会在医学成像数据中得到应用。

“如果您有一名放射科医生专门研究特定的疾病……让他或她坐下来为您贴上50,000张图像可能不会发生……但是让他们贴上1,000张图像似乎很有可能。这确实改变了实际的数据科学家在整理数据时需要付出的努力,结果使进行探索变得容易得多。” Luebke说。

本周,作为神经信息处理网络的NeurIPS会议的一部分,发表了一篇详细介绍该方法的论文,这是世界上最大的年度AI研究会议。

并非仅有的与GAN相关的论文“用有限的数据训练生成对抗网络”。另一篇研究论文介绍了鉴别器驱动的潜在采样(DDLS),当使用CIFAR-10数据集进行评估时,它可以提高现成GAN的性能。该论文是由MILA魁北克人工智能研究所和Google Brain研究人员撰写的,其中包括蒙特利尔Google Brain小组组长兼NeurIPS会议主席Yoshua Bengio和Hugo Larochelle。