当前位置：网站首页>今天14:00 | 12位一作华人学者开启 ICLR 2022

今天14:00 | 12位一作华人学者开启 ICLR 2022

2022-06-23 11:00:00 【AITIME论道】

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

6月22日14:00，本期我们邀请到ICLR的讲者给大家带来精彩的分享！

哔哩哔哩直播通道

扫码关注AI TIME哔哩哔哩官方账号预约直播

6月22日 14:00-18:00

讲者简介

国珺峰：

2019年入学德州大学达拉斯分校计算机博士。研究兴趣：AI 安全，OOD 检测，AI 隐私

分享内容

通过对抗极值分析的深度学习后门检测

报告简介

深度神经网络 (DNN) 被证明容易受到后门攻击。后门通常通过在训练示例中注入后门触发器嵌入到目标 DNN 中，这可能导致目标 DNN 错误分类后门触发器附加的输入。现有的后门检测方法往往需要访问原始的中毒训练数据、参数目标 DNN 的数量，或每个给定输入的预测置信度，它们是在许多实际应用中是不切实际的，例如在设备上部署的 DNN。我们解决 DNN 所在的黑盒硬标签后门检测问题完全黑盒，只有它的最终输出标签是可访问的。我们从优化的角度来解决这个问题，并表明后门检测的目标受到对抗性目标的限制。进一步的理论和经验研究表明，这种对抗性目标导致了一个高度偏斜的解决方案分配;在后门感染示例的对抗性地图中经常观察到一个奇点，我们称之为对抗性奇点现象。基于基于这一观察，我们提出了对抗极值分析（AEVA）检测黑盒神经网络中的后门。AEVA 基于一个极端对抗性地图的价值分析，根据蒙特卡罗梯度估计计算得出。对多个流行任务的广泛实验证明了这一点后门攻击，我们的方法在检测后门攻击方面被证明是有效的在黑盒硬标签场景下。

讲者简介

卢伟：

2022年5月从Brandeis大学数学系毕业，获得PhD学位，即将于8月入职Meta，担任Machine Learning Research Scientist。研究兴趣：图神经网络，最优传输。

分享内容

图卷积神经网络的学习保障

报告简介

图神经网络在过去十年中获得了巨大的发展和应用，但相关的理论分析却非常缺乏。本文讨论应用最为广泛的一类图模型——图卷积网络，首次给出了在半监督任务中该模型的学习保障。对于从随机块模型(Stochastic Block Model)中抽样的图，我们证明了图卷积网络可以以大概率高效地在图上检测出“块结构”。

讲者简介

刘世隆：

清华大学计算机二年级博士生，粤港澳大湾区数字经济研究院（IDEA）实习生。研究兴趣为计算机视觉。

分享内容

DAB-DETR: 动态变化的anchor boxes对DETR而言是更好的queries

报告简介

我们提出了一种新颖的针对DETR中query的建模方法，即使用动态的锚框（anchor box）建模query，同时对query的作用有了更深入的理解。这个新的建模方式直接使用box的坐标作为Transformer decoder的query，同时层与层更新box的坐标。使用box坐标不仅可以使我们使用显式的位置先验来提升query和特征之间的相似度计算，提升模型收敛速度，而且允许我们使用box的尺寸来调制注意力图。这样的设计使我们更清楚的看到，query和特征的相似度计算起到了soft ROI pooling的作用，同时多层的decoder layers起到了类似级联的作用。我们的模型在相同条件下取到了当前DETR类模型的最好结果，使用ResNet50-DC5的单层特征，在MS-COCO基准上训练50epoch得到了45.7AP。我们也通过大量实验验证了我们方法的有效性。

讲者简介

张斌杰：

清华大学计算机科学与技术专业在读硕士生，研究方向包括Compatible Representation Learning以及Cross-Modality Video Understanding。目前是腾讯ARC Lab的实习生。

分享内容

基于退化缓解兼容训练的热刷新模型升级在图片检索中的应用

报告简介

对检索系统中部署的模型进行更新迭代是提升检索精度、改善用户体验的必经之路。在传统的检索模型升级过程中，需要先用新模型离线刷新底库中的所有特征（称之为特征“回填”），再将新模型部署上线，这一过程被称之冷刷新模型升级。大规模检索系统往往存在海量的底库图像，将其全部离线刷新一遍可能花费数周乃至数月，冷刷新模型升级存在模型迭代的时间成本高、用户体验不能得到即时改善等几大弊端。为此，作者首次提出热刷新模型升级方案，借助兼容学习使得新模型可以直接部署上线，同时利用新模型在线刷新底库特征，实现检索精度的逐步爬升。尽管现有的兼容训练算法使得热刷新模型升级成为了可能，但他们均面临刷新过程中的“模型退化”问题，即升级中检索精度的下降。为了缓解热刷新模型升级过程中的模型退化问题，作者提出了一种简单有效的正则化，即约束新->旧正样本对距离同时小于新->旧负样本以及新->新负样本对距离。此外，作者也提出一种基于不确定性的底库回填策略，可以在热刷新过程中加快提升系统精度。

讲者简介

李子牛：

香港中文大学（深圳）二年级的博士生，导师为罗智泉。我的研究兴趣是强化学习。

分享内容

一种为深度强化学习设计的探索策略

报告简介

近些年来，深度强化学习的方法（比如DQN）在许多场景中取得了超越人类专家的性能。但是深度强化学习方法目前的样本复杂度比较高，限制了其的应用场景。解决样本复杂度的一个手段是设计更加高效的探索策略。RLSVI被理论证明是一个有效的方法；但该方法目前只适用于一些特殊的场景，并不能直接应用到深度强化学习中。在我们的工作中，我们基于元模型（hypermodel）和RLSVI设计了一种新的探索方法（HyperDQN），该方法可以克服RLSVI在深度强化学习里的缺陷。在Atari等任务上，我们的方法能比基准方法（DQN）提高近10倍的样本效率。

讲者简介

陆晟瑶：

加拿大阿尔伯塔大学计算机工程博士在读，研究方向是图推理，规则挖掘，图神经网络的可解释性等。

分享内容

利用在循环中不断强化的关系推理进行规则挖掘

报告简介

论文提出了一种基于强化学习的图关系推理框架，并从观察到的数据中明确挖掘潜在的组合逻辑规则。该方法将数据看作关系与关系之间的组合，利用配备蒙特卡罗树搜索的策略价值网络执行循环关系预测，并利用回溯重写机制挖掘规则。该方法在关系预测任务上优于各种基于嵌入和规则归纳的基线，同时在发现事实规则方面实现了高召回率。

讲者简介

张文涛：

北京大学计算机系博士生，研究兴趣为大规模图学习。

分享内容

软标签场景下的图主动学习

报告简介

图神经网络的性能高度依赖于大量的有标签节点，而打标签通常需要大量的人力。因此有研究提出了基于图神经网络的主动学习方法，通过选择最有价值的节点进行标记来提高标记效率。现有方法假设专家可以正确分类所有选定的节点，因此只关注节点选择。然而，这种精确的标记任务成本很高，尤其是当分类数量巨大、超出个人专家的领域时。该论文提出了图神经网络上主动学习的软标签方法，有两个关键创新点：（1）领域专家只判断预测标签的正确性（二分类问题）而不是识别确切的类别（多类问题）的轻松查询；（2）提出了轻松查询下软标签主动学习的信息增益传播衡量标准。此外，对公共数据集的实证研究表明，该论文方法的在准确性和标记成本方面明显优于最先进的基于图神经网络的主动学习方法。

讲者简介

滕佳烨：

清华大学交叉信息研究院博士二年级学生，研究方向为泛化、不确定性分析等。

分享内容

通过分解风险尝试分析理解泛化

报告简介

泛化是机器学习的基本问题之一。然而，一致收敛等传统技术可能无法解释过度参数化下的泛化。作为替代方法，基于稳定性的技术分析训练轨迹，并推导与算法相关的泛化边界。不幸的是，基于稳定性的界限还远远不能解释深度学习中令人惊讶的泛化，因为神经网络通常存在不令人满意的稳定性。本文提出了一种新的分解框架，通过对信号和噪声进行更细粒度的分析来改进基于稳定性的边界，其灵感来自于神经网络在拟合噪声时收敛相对较慢的观察结果（这表明稳定性更好）。具体而言，我们分解了风险，并仅对噪声部分应用基于稳定性的界。分解框架在线性背景（过参数线性回归）和非线性背景（对角矩阵恢复）中都表现良好。神经网络实验验证了该分解框架的实用性。

讲者简介

高文昊：

麻省理工学院（MIT）化学工程系的三年级博士生，师从Dr. Connor W. Coley，致力于通过人工智能算法和自动化实验的进步加速化学发现过程的研究。

分享内容

SynNet：可合成分子设计和自下而上的逆合成分析

报告简介

分子设计和逆合成分析是在药物设计等过程中关键的步骤。在本工作中，我们提出将二者合为单一的合成路径设计任务，以此解决了从头分子设计中的可合成性问题，并提供了另一种逆合成分析算法。

讲者简介

张彪：

国王科技大学在读PhD，研究方向为 3D Deep Learning。

分享内容

连接 3D 模型表示与元学习

报告简介

最近元学习领域飞速发展。我们发现，通过一个数据生成网络，可以连接 3d 模型表示和元学习两个领域，并且应用元学习算法到 3d 模型重建，通过实验展示了这个连接的有效性。

讲者简介

刘昭强：

新加坡国立大学计算机系博士后，研究方向是理论机器学习。近来主要研究基于生成模型的高维反问题。

分享内容

基于生成模型的主成分分析

报告简介

我们考虑基于生成模型的主成分分析。我们对观测到的矩阵作出一个通用的模型假设。该模型包含一些值得注意的特殊情形，比如尖峰矩阵模型和相位恢复。我们的一个关键假设是观测到的矩阵的第一主特征向量靠近一个定义域为 k 维空间中有界集的 L - 利普希茨连续的生成模型的值域。我们提出了一个二次估计量，并证明它具有统计率sqrt{(k log L)/m}，其中 m 是样本数。此外，我们提供了经典幂方法的变种，它在每次迭代期间将得到的向量投影到生成模型的值域内。我们证明，在适当的条件下，该方法线性地收敛到达到上述统计率的点。我们对尖峰矩阵和相位恢复模型在一些图像数据集上进行了实验，并验证了我们的方法相对于经典幂方法和为稀疏主成分分析设计的截断幂方法的性能增益。

讲者简介

曾祎：

弗吉尼亚理工计算机工程一年级博士生，师从Ruoxi Jia。个人主攻兴趣为人工智能安全。他的论文曾获得第20届ICA3PP国际会议最佳论文奖。他的论文主要发表在计算机领域顶会（如ICLR、ICCV、IJCAI、AsiaCCS）以及顶刊（例如 IEEE TII、IEEE TC、IEEE Access 等）。

分享内容

基于隐式超梯度的神经网络后门对抗性移除

报告简介

我们提出了一个极小极大公式，用于基于一小组干净数据从给定的中毒模型中删除后门。这个公式包含了许多先前关于后门移除的工作。我们提出了隐式后门对抗性移除 (I-BAU) 算法来解决极小极大问题。与以往将极小极大分解为单独的内部和外部问题的工作不同，我们的算法利用隐式超梯度来解释内部和外部优化之间的相互依赖关系。我们从理论上分析了它的收敛性和通过将干净数据上的极小极大求解到看不见的测试数据所获得的鲁棒性的普遍性。在我们的评估中，我们将 I-BAU 与针对两个数据集和各种攻击设置的七次后门攻击的六种最先进的后门防御进行比较，包括攻击者针对一个类的常见设置以及多个类的重要但未充分探索的设置是有针对性的。I-BAU 的性能与最佳基线相当，并且通常明显优于最佳基线。特别是，它的性能对触发器、攻击设置、投毒比例和干净数据大小的变化更加稳健。此外，I-BAU 需要极少的计算就可以生效；特别是，它比单目标攻击设置中最有效的基线要快14倍以上。此外，它在防御者只能访问 100 个干净样本的极端情况下仍然有效——在这种情况下，所有基线都无法产生可接受的结果。总结：简单，有效，可以移除神经网路后门。

直播结束后大家可以在群内进行提问，请添加“AI TIME小助手（微信号：AITIME_HY）”，回复“ICLR”，将拉您进“AI TIME ICLR交流群”！