【GCN-CTR】DC-GNN: Decoupled GNN for Improving and Accelerating Large-Scale E-commerce Retrieval WWW22

《DC-GNN: Decoupled Graph Neural Networks for Improving and Accelerating Large-Scale E-commerce Retrieval》(WWW’22)

在工业场景中，数百亿节点和数千亿的边直接端到端的GNN-based CTR模型开销太大，文章把整个GNN框架解耦成三阶段：预训练、聚合、CTR。

但实际上文章是把计算开销前移，将图卷积的计算开销转换成了采样子图的计算开销。

图与数据集

用Taobao近7天的记录作为数据集，有三类节点：user、query和item，每个节点都有丰富的节点属性：设备、年龄等。

有三类边：query搜索item、用户浏览item、用户搜索query。

一共9亿节点、100亿条边。

方法

预训练

每个节点先用RW生成 三个 该节点的子图，然后在子图上用GNN encoder对节点进行卷积编码，得到节点的embedding，然后两个预训练任务：

Link Prediction

$${\mathcal{L}}_{link}=\sum _{\left(q,i_p\right)\in \mathcal{E}}\left(-\log \sigma \left(f_s\left(q,i_p\right)\right)-\sum _k\log \left(1-\sigma \left(f_s\left(q,i_n^k\right)\right)\right)\right)$$

有边连接的是正例，然后采集k个负例，负例用到了难负样本挖掘：

一种是选择K-hop的节点作为负样本，K可以控制难易程度；一种是在维持图结构不变的情况下，将一个正样本替换成全局采得负样本。

文章认为这两种做法都可以强化GNN更加注意节点的属性学习上，避免GNN过分依赖图结构特征，从而缓解over-smoothing。

Multi-view graph contrastive learning

第二个子图和第三个子图得到的embedding，进行对比学习，同一个节点在两个视图的embedding是正例，不同节点是负例。这里只考虑同一类节点之间计算InfoNCE loss，因此会有三个对比学习loss。

所有的loss加起来是total loss：
$$\begin{array}{rl}{\mathcal{L}}_{query}& =\sum _{q_1\in v_q}-\log \frac{\exp \left(w{f}_s\left(q_1,q_2\right)\right)}{{\sum }_v\in \exp \left(w{f}_s\left(q_1,v_2\right)\right)}\\ {\mathcal{L}}_{user}& =\sum _{\begin{array}{c}{u}_1\in v_u,v_u\in \mathcal{V}\end{array}}-\log \frac{\exp \left(w{f}_s\left(u_1,u_2\right)\right)}{{\sum }_v\exp \left(w{f}_s\left(u_1,v_2\right)\right)}\\ {\mathcal{L}}_{ad}& =\sum _{\begin{array}{c}{i}_1\in v_i,v_i\in \mathcal{V}\end{array}}-\log \frac{\exp \left(w{f}_s\left(i_1,i_2\right)\right)}{{\sum }_v\exp \left(w{f}_s\left(i_1,v_2\right)\right)}\\ {\mathcal{L}}_{\text{contra }}& ={\mathcal{L}}_{\text{query }}+{\mathcal{L}}_{\text{user }}+{\mathcal{L}}_{ad}\\ {\mathcal{L}}_{\text{total }}& ={\mathcal{L}}_{\text{link }}+{\lambda }_1{\mathcal{L}}_{\text{contra }}+{\lambda }_2\Vert \theta {\Vert }_2^2\end{array}$$

Deep Aggregation

第一阶段每个节点已经有一个embedding $X了，然后再一次采样图，对于每个节点，采样三个不同种类子图出来，比如target node是user，给这个节点采样三个子图出来，每个子图出了target node之外，分别只包含 user、query、item节点。

然后在已有子图的基础上，和SIGN那篇一样，直接将不同阶卷积的向量拼接起来$\left[X,AX,A^{2}X,A^{3}X\right]$ 作为模型的输入。但其实这里有误导的地方，应该是 1+3*3=10 个向量拼接起来，因为有三种子图，每个子图有三阶矩阵，所以实际应该是：
$$\left[X,A_{1}X,A_1^{2}X,A_1^{3}X,A_{2}X,A_2^{2}X,A_2^{3}X,A_{3}X,A_3^{2}X,A_3^{3}X\right]$$

CTR Prediction

图1.3，拼接好的向量分别送入双塔中，进行CTR预估。负样本是曝光未点击样本：
$${\mathcal{L}}_{CTR}=\sum \left(-\log \sigma \left(f_s\left((q,u),i_{clk}\right)\right)-\sum _k\log \left(1-\sigma \left(f_s\left((q,u),i_{pv}^k\right)\right)\right)\right)$$

实验

DC-GNN-Pf和DC-GNN-Pt是指跳过Deep Aggregation，直接用pretrain的输出embedding输入CTR，然后fix或者fine-tuning embedding。