【GCN-RS】Are Graph Augmentations Necessary? Simple Graph Contrastive Learning for RS (SIGIR‘22)

Are Graph Augmentations Necessary? Simple Graph Contrastive Learning for Recommendation (SIGIR’22)

这篇文章抨击图对比学习不一定要扩展图结构，SGL那种方法复杂且收益微弱：

文章在SGL的基础上，测试不扩增图结构，直接对比学习：
$${\mathcal{L}}_{cl}=\sum _{i\in \mathcal{B}}-\log \frac{\exp \left({\mathbf{z}}_i^{\prime \top }{\mathbf{z}}_i^{\prime \prime }/\tau \right)}{{\sum }_{j\in \mathcal{B}}\exp \left({\mathbf{z}}_i^{\prime \top }{\mathbf{z}}_j^{\prime \prime }/\tau \right)}$$
我曾经也做过实验，把这个公式的分子置为1，即不考虑扩增图结构后表征依然相似，NDCG指标反而升的更高，所以SGL的确实不太有用。

文章提出了一种非常简单的方法，直接在embedding上做扰动，不动图结构：

$$\begin{array}{r}{e}_i^{\prime }=e_i+{\Delta }_i^{\prime }\\ e_i^{\prime \prime }=e_i+{\Delta }_i^{\prime \prime }\end{array}$$
其中${\Delta }_i^{\prime },{\Delta }_i^{\prime \prime }$分别是随机扰动，$\Delta =\bar{\Delta }\odot \mathrm{sign}\left(e_i\right),\mathrm{sign}(\mathrm{x}),x<0$则输出-1，否则1。$\bar{\Delta }\sim U(0,1)$。因此这两个扰动可以看作在原始embedding的方向，各自伸缩了一些。然后带入对比学习loss，就可以用了。

在实现上就更简单暴力了，只是在每层embedding加扰动而已：
$$\begin{array}{r}{\mathbf{E}}^{\prime }=\frac{1}{L}\left(\left({\tilde{\mathbf{A}}}^{(0)}+{\Delta }^{(1)}\right)+\left(\tilde{\mathbf{A}}\left(\tilde{\mathrm{A}}{\mathrm{E}}^{(0)}+{\Delta }^{(1)}\right)+{\Delta }^{(2)}\right)\right)+\dots \\ +\left({\tilde{\mathbf{A}}}^L{\mathbf{E}}^{(0)}+{\tilde{\mathbf{A}}}^{L-1}{\Delta }^{(1)}+\dots +\tilde{\mathbf{A}}{\Delta }^{(L-1)}+{\Delta }^{(L)}\right))\end{array}$$