长期更新的一些 pytorch 知识点总结

Pytorch

Basic

Metric

Accuracy 和 Precision

Ref: https://www.youtube.com/watch?v=hRAFPdDppzs
Ref: https://blog.csdn.net/hlzgood/article/details/110916942
accuracy 是准确率。是指 How close you can get to the correct result.测量值（或预测值）和实际值有多相近。通过计算测量值和实际值的误差函数，如计算均方根误差，均方根误差越接近 0，说明准度越高。换言之–准不准
precision 是精确度。是指 How consistent you can get that result.多个测量值（或预测值）互相之间有多相近。在所有预测出来的结果中，预测结果为正类的比例。通过计算测量值的离散程度，如计算测量值的标准差，标准差越小，说明测量值越集中，精度也就越高。换言之–稳不稳

batchsize

Ref: https://www.zhihu.com/question/32673260
当batch size比较小的情况下收敛变慢的主要原因是样本之间的局部variance增大，那么在保证variance reduction的情况下，其收敛率大大加快，理论上等价于一定范围内的更大batch size（一般为2个order以内），题主有没有考虑这种情况？另外batch size增大的情况下达到相同的精度所需epoch更多，是指相同学习率？除去内存开销以及分布式学习的开销以外，从最优化角度是可以在不同学习率下处理epoch找到等价解的。