谷歌| ICML 2022: 深度强化学习中的稀疏训练状态

【标题】The State of Sparse Training in Deep Reinforcement Learning

【作者团队】Laura Graesser, Utku Evci, Erich Elsen, Pablo Samuel Castro

【发表日期】2022.6.17

【论文链接】https://arxiv.org/pdf/2206.10369.pdf

【推荐理由】近年来，稀疏神经网络在深度学习各领域的使用迅速增长，尤其是在计算机视觉领域。 稀疏神经网络的吸引力主要源于训练和存储所需参数数量的减少，以及学习效率的提高。 有点令人惊讶的是，很少有人努力探索它们在深度强化学习 (DRL) 中的应用。 在这项工作中，作者团队对在各种深度强化学习智能体和环境中应用一些现有的稀疏训练技术进行了系统的调查。 最终调查结果证实了计算机视觉领域中稀疏训练的结果——在深度强化学习领域中，对于相同的参数计数，稀疏网络的性能优于密集网络。 作者团队详细分析了深度强化学习中的各种组件如何受到稀疏网络的使用的影响，并通过提出有希望的途径来提高稀疏训练方法的有效性以及推进它们在深度强化学习中的使用。