训练集Loss收敛，但是测试集Loss震荡的厉害？

问题场景

今天在调试模型的时候发现训练集上Loss已经收敛了，但是在验证集上Loss震荡的比较厉害，如下图所示：

Loss曲线

原因分析

查阅网上各种博客后发现验证集Loss震荡的原因可能有如下：

• 数据问题，比如训练集和验证集相差太大，数据量太小；
• batchsize太小，模型学习的规律不够“普适”；
• loss函数不合适；
• 学习率太大，模型陷入了局部最优点；
• 模型的网络结构存在问题；
• ......

知道了大概的原因之后，就可以逐个进行排查了。

• 数据上，检查自己的数据集train和valid的划分情况，基本上数据的分布应该是差不多的；数据量上1w+的图像，应该也还行；
• loss函数换了其他的进行试验还是一样的效果；
• 学习率使用动态调整策略，应该没什么问题（后面测试的时候即便调整了初试学习率，最后结果还是类似）；
• 模型使用的是比较经典的超分模型，应该问题不大；
• 调整了下bs，从32调整到48，发现震荡变小了，效果如下图：

bs=32

bs=48

所以最终分析应该是batchsize太小的原因，如果可以再增大点估计效果更好，但是奈何GPU显存不够了。

总结

如果遇到Loss在训练集上已经收敛，但是在验证集上震荡比较厉害的情况，要按照可能的原因逐条分析，并且进行尝试。尝试的时候也要注意先进行理论上的分析再跑模型，不然的话可能也是白白浪费算力。

参考

【1】https://blog.csdn.net/qq_40689236/article/details/106794155
【2】https://zhuanlan.zhihu.com/p/483488388