自监督论文阅读笔记： MoCoV2使用动量对比学习改进基线

        在本文中，通过在MoCo框架中实现SimCLR的两个设计改进来验证其有效性。通过对MoCo的简单修改——即 使用MLP投影头和更多的数据增强——我们建立了比SimCLR性能更好的更强的基线，并且不需要大规模的批量训练。

        引言：

        我们报告了SimCLR中使用的两个设计改进，即 MLP投影头 和 更强的数据增强，与MoCo和SimCLR框架正交，当与MoCo一起使用时，它们会带来更好的图像分类和目标检测迁移学习结果。此外，MoCo框架可以处理大量的负样本，而不需要大量的训练批次(图1)。与SimCLR的大量4k ~ 8k批次(需要TPU支持)相比，我们的“MoCo v2”基线可以在典型的8-GPU机器上运行，并获得比SimCLR更好的结果。

        背景：

                在端到端机制中(图1a)[13, 8, 17, 1, 9, 2]，负key来自同一批，通过反向传播端到端更新。SimCLR[2]基于这种机制，需要大量批处理来提供大量负样本集。在MoCo机制(图1b)[6]中，负key保持在一个队列中，在每个训练批中只编码 查询 和 正键。采用动量编码器来提高当前key与早期key表示的一致性。MoCo将批大小与负样本的数量解耦。

        改进设计：

                SimCLR[2]在三个方面改进了实例识别的端到端变体:(i)批量大大增加(4k或8k)，可以提供更多的负样本;(ii)将输出fc投影头[16]替换为MLP头;(iii)数据增强

                在MoCo框架中，大量的负样本是现成的；MLP头和数据增强与对比学习如何实例化是正交的。接下来，我们在MoCo中研究这些改进。

        实验：

                根据SimCLR，我们将MoCo中的fc头替换为2层MLP头(隐藏层2048-d，用ReLU)。

                我们通过加入SimCLR[2]的高斯模糊增强来扩展MoCo[6]的原始增强效果(我们发现[2]中较强的颜色失真在我们较高的基线中收益递减)。这表明线性分类精度与检测中的传输性能不是单调相关的。通过MLP，额外的增强可以将ImageNet的精度提高到67.3%，见表1(c)。

                表2和3表明，对于良好的准确性来说，大量的批次并不是必需的，而且最先进的结果可以更容易获得。我们研究的改进只需要对MoCo v1进行几行代码更改，