深度学习又有新坑了！悉尼大学提出全新跨模态任务，用文本指导图像进行抠图

图像抠图是指提取图像中准确的前景。当前的自动方法倾向于不加区别地提取图像中的所有显著对象。在本文中，作者提出了一个新的任务称为参考图像抠（Referring Image Matting，RIM），指的是提取特定对象的细致的 alpha 抠图，它可以最好地匹配给定的自然语言描述。然而，流行的 visual grounding 方法都局限于分割水平，可能是由于缺乏高质量的 RIM 数据集。为了填补这一空白，作者通过设计一个全面的图像合成和表达生成引擎，建立了第一个大规模挑战性数据集 RefMatte，以在当前公共高质量抠图前景的基础上生成合成图像，具有灵活的逻辑和重新标记的多样化属性。

RefMatte 由 230 个对象类别、47,500 个图像、118，749 个表达式区域实体和 474，996 个表达式组成，将来可以很容易地进一步扩展。除此之外，作者还构建了一个真实世界测试集，该测试集由 100 幅自然图像组成，使用人工生成的短语标注来进一步评估 RIM 模型的泛化能力。首先定义了基于提示和基于表达两种背景下的 RIM 任务，然后测试了几种典型的图像抠图方法以及具体的模型设计。这些结果为现有方法的局限性以及可能的解决方案提供了经验性的见解。相信新任务 RIM 和新数据集 RefMatte 将在该领域开辟新的研究方向，并促进未来的研究。

 

论文标题：

Referring Image Matting

论文地址：

https://arxiv.org/abs/2206.05149

代码地址：

https://github.com/JizhiziLi/RIM