CV-图像分类

什么是图像分类

核心任务
根据图像特征进行区分
给图像打标签
是更高级任务的基础

例如目标检测，图像分割

难点

语义鸿沟

• 视角
• 光照
• 尺度
• 遮挡
• 形变
• 背景杂波
• 类内形变
• 运动模糊
• 类别繁多

基于规则的方法

硬编码难以实现

数据驱动的方法

图像表示

• 全局特征
• 局部特征

如SIFT+word bag

• 像素

分类器

• SVM
• AdaBoost
• 随机森林
• 贝叶斯
• 线性分类器
• 神经网络

损失函数

• 0-1损失
• 交叉熵
• L1 L2

优化算法

• 一阶迭代
  • 梯度下降
  • 随机梯度下降
  • 小批量随机梯度下降
• 二阶迭代
  • 牛顿法
  • BFGS L-BFGS

训练过程

• 数据集划分
• 数据预处理
• 数据增强
• 过拟合 欠拟合
• 超参数
• 模型集成

图像类别

• 二值图像
• 灰度图像
• 彩色图像

线性分类器

第i类线性分类器
$$f_i(w_i,x)=w_i^{T}x+b$$
决策规则，哪个函数值最大就是哪个
权值w可以视为模板，匹配程度越高得分越高
权值也可视为超空间的分界面

损失函数

联系模型参数和模型性能指导模型优化参数
度量预测值和真实值的区别，输出通常是非负数（距离）
作为反馈信号，降低损失函数以提升模型性能
一般定义
$$L=\frac{1}{N}\sum _i{L}_i(f_i(w,x_i),y_i)$$

正则项

同样一个损失函数值对应的权重不是唯一的
为了选择最优的权重w，我们需要正则项
$$L=\frac{1}{N}\sum _i{L}_i(f_i(w,x_i),y_i)+\lambda R(w)$$
前向称为数据项，后项称为正则项
正则项防止过拟合
正则项与数据无关，只与模型有关
$\lambda$是超参数

超参数

学习过程前设置的参数，而不是学出来的
对模型性能影响巨大
可以使模型有偏好

$L_2$正则$\sum w^2$
惩罚大权值，鼓励权值分散
确保尽量把所有维度都用起来，而不是依赖少数特征

$L_1$正则$\sum |w|$
弹性正则 $L_1+\beta L_2$

参数优化

利用损失函数输出做反馈信号调制模型参数，提升模型性能
目标是找到使得L最优的w

梯度下降

• 方向 负梯度
• 长度 步长

算法
while True
w梯度=计算梯度（w,y,L）
w=w-w梯度*学习率