IJCAI 2022 | 用一行代码大幅提升零样本学习方法效果，南京理工＆牛津提出即插即用分类器模块

零样本学习（Zero-Shot Learning）聚焦于对训练过程中没有出现过的类别进行分类，基于语义描述的零样本学习通过预先定义的每个类别的高阶语义信息来实现从可见类（seen class）到未见类（unseen class）的知识迁移。传统零样本学习在测试阶段仅需要对未见类进行识别，而广义零样本学习（GZSL）需要同时识别可见类和未见类，其评测指标是可见类类平均准确率与未见类类平均准确率的调和平均。

一种通用的零样本学习策略是使用可见类样本和语义训练从语义空间到视觉样本空间的条件生成模型，再借助未见类语义生成未见类的伪样本，最后使用可见类样本和未见类伪样本训练分类网络。

然而，要学习两个模态（语义模态与视觉模态）间的良好映射关系通常需要大量样本（参照 CLIP），这在传统零样本学习环境下无法实现。因此，使用未见类语义生成的视觉样本分布通常和真实样本分布存在偏差（bias），这意味着以下两点：1. 这种方法获得的未见类准确率有限。2. 在未见类平均每类生成伪样本数量与可见类平均每类样本数量相当的情况下，未见类准确率与可见类准确率存在较大差值，如下表 1 所示。

我们发现就算只学习语义到类别中心点的映射，并将未见类语义映射为的单一样本点复制多次再参加分类器训练也能得到接近使用生成模型的效果。这意味着生成模型生成的未见类伪样本特征对分类器来说是较为同质（homogeneity）的。

先前的方法通常通过生成大量未见类伪样本来迎合 GZSL 评测指标（尽管大的采样数量对未见类类间判别没有帮助）。然而这种重采样（re-sampling）的策略在长尾学习（Long-tail Learning）领域被证明会导致分类器在部分特征上过拟合，在这里即是与真实样本偏移的伪未见类特征。这种情况不利于可见类和未见类真实样本的识别。那么，能否舍弃这种重采样策略，转而将生成未见类伪样本的偏移性和同质性（或者可见类与未见类的类别不平衡）作为归纳偏置（inductive bias）植入分类器学习呢？

基于此，我们提出了一个即插即用的分类器模块，只需修改一行代码就能提升生成型零样本学习方法的效果。每个不可见类只需生成 10 个伪样本，就能达到 SOTA 水平。与其他生成型零样本方法相比，新方法在计算复杂度上具有巨大优势。研究成员来自南京理工大学和牛津大学。

• 论文: https://arxiv.org/abs/2204.11822
• 代码: https://github.com/cdb342/IJCAI-2022-ZLA

本文以一致化训练与测试目标为指引，推导出广义零样本学习评测指标的变分下界。以此建模的分类器能够避免使用重采用策略，防止分类器在生成的伪样本上过拟合对真实样本的识别造成不利影响。所提方法能够使基于嵌入的分类器在生成型方法框架上有效，减少了分类器对于生成伪样本质量的依赖。