ICML 2022 | 上下文集成的基于transformer的拍卖设计神经网络

本文是 ICML 2022入选论文《A Context-Integrated Transformer-Based Neural Network for Auction Design》的解读。该论文由北京大学前沿计算研究中心邓小铁课题组与谷歌团队、上海交通大学团队合作完成。本文将基于深度学习的最优拍卖设计的方法论拓展到了上下文拍卖场景中，并为此设计了新的基于 transformer 的神经网络结构。

论文链接：https://arxiv.org/abs/2201.12489

我们将上下文拍卖设计问题公式化为一个带限制的优化问题，并进一步转化为一个机器学习问题。首先，我们将机制参数化（我们使用神经网络来对机制进行参数化），并将这些参数作为我们优化问题的自变量。我们将拍卖者的期望收益，也即所有买家的期望支付价格之和作为最大化的目标函数。我们将 DSIC 作为该优化问题的限制条件，这一步可以通过定义后验后悔值然后使用数学语言刻画。IR 条件可以通过机制网络结构的构造得到满足。最后，我们通过从先验分布中采样得到的数据，使用增广拉格朗日乘子法和梯度方法对模型参数进行优化，从而针对具体问题场景自动寻找近似最优的机制。

图1. 模型结构

在机制模型设计上，我们设计了 CITransNet 网络结构，如图所示。我们的模型以买家报价、买家上下文与商品上下文这三种信息作为模型输入，先通过输入层来整合每个买家-商品对的报价与上下文信息，然后通过若干个基于 transformer 的交互层来建模所有买家-商品对之间的相互影响，最后通过一个输出层来计算分配结果与支付结果。