Adobe基于DL的“HDMatt”处理比头发还细的图像细节

图像遮片在图像和视频的编辑和合成中起着关键作用。虽然现有的深度学习方法可以得到可接受的图像遮片结果，但它们在实际应用中的性能受到影响，因为实际应用中输入的图像大多是高分辨率的。为了解决这个问题，UIUC、Adobe Research和俄勒冈大学的一组研究人员提出了HDMatt，这是第一种用于高分辨率图像输入的基于深度学习的图像遮片方法。通常，深度学习方法采用整个输入图像和相关的三重映射来使用卷积神经网络来推断阿尔法遮罩。然而，当处理大小为5000×5000像素或更高的高分辨率输入图像时，由于硬件限制，这样的方法可能会失败。

研究人员设计了HDMatt，将输入图像和三维图裁剪成补丁，然后估计每个补丁的Alpha值。考虑到只使用单个补丁时的信息损失和不同补丁之间的预测不一致，HDMatt引入了一种新的跨补丁上下文模块(CPC)来有效地利用每个查询(当前)补丁的跨补丁信息。然后将每个面片的估计Alpha值缝合在一起，以输出整个图像的最终Alpha蒙版。

该团队使用Adobe Image Matting(AIM)和AlphaMatting基准测试HDMatt的能力，其定量结果都优于现有的SOTA方法。

该团队还使用分辨率高达6000×6000像素的输入图像，与SOTA图像遮片方法IndexNet和ContexNet进行了比较评估，其中HDMatt能够提取更精细和更准确的细节。

论文的高分辨率深度图像遮片是基于ARXIV的。值得注意的是，Adobe Research的第二作者宁旭是2017年论文深度图像遮片的第一作者。

这份报告让我们看到了中国在与新冠肺炎的战斗中是如何利用人工智能技术的。亚马逊Kindle上也有，在这份报告的同时，我们还推出了一个全球数据库，涵盖12个大流行场景的额外1428个人工智能解决方案。

我们知道你不想错过任何新闻或研究突破。我们订阅我们广受欢迎的时事通讯同步全球AI周刊，以获得每周的AI更新。