Ultra Fast Deep Lane Detection with Hybrid Anchor Driven Ordinal Classification论文解读

注：个人理解，欢迎批评指正。

TPAMI 2022

论文：https://arxiv.org/abs/2206.07389

代码：跳转中...

简介：现在模型主要把车道线检测认为是像素级分割问题。主要存在严重遮挡和极端光照条件。受益于人类感觉影响，车道线的以上问题可以通过上下文信息和全局信息来解决。受此启发，本文提出了一个全新的，简单的，有效的方法，快速的来解决这样富有挑战性的问题。首先，使用一系列混合anchor的，使用稀疏坐标来表示车道线。得益于anchor驱动的表示，本文进一步将车道线检测任务作为有序分类问题，来获取车道线坐标。效果：极大的降低计算花销。使用大感受野能够处理富有挑战的场景。在四车道线数据集上的大量实验表明本年未算法在速度和准确率上实现了sota。轻量级版本可以达到300+ fps。

1. 介绍

车道线检测使用深度学习的方法已经实现了巨大进展，但是仍然一些富有挑战的问题待解决。

第一个就是效率问题。在实际处理中，车道线检测算法有沉重的计算量。特别很多算法是基于分割来处理的，这将会更加难以实现快速处理。

另外一个问题就是no-vissual-clue（无视觉线索），如图1所示。车道线检测的目的就是无论车道线是否遮挡，都是为了识别车道线的位置。在车道线检测任务上，如何解决在严重遮挡和极端光照条件的非视觉信息场景是一个主要的困难。为解决这个问题，一些额外的检测线索将会被采用，比如道路形状，车头方向，没有遮挡的车道线端点等。

这将会引入一个问题，车道线检测中，我们可以快速找到具有大感受野的全局信息嘛？基于以上启发，本文提出了稀疏的top-down方法来解决效率和无视觉线索的问题。首先，本文基于row anchor的方式表示车道线。一个车道线可以通过一系列row anchor的预定义坐标表示，如图3所示。第二，本文提出使用使用分类的方式去学习车道线坐标。

 

 

另外，本文扩展了车道线检测方法，从row anchor的方式到 混合anchor的方式。因为本文观察发现row anchor system并不能很好的工作在所用的车道线上。如图2a，2b上所示。基于row anchor方法的side lanes效果要低于ego lanes效果。从2c上看，基于column anchor的方式，side lanes效果要差于ego lanes效果。本文命名这种现象为“放大定位错误”。这个问题使得row anchor 很难识别水平（side lanes）车道线的位置，类似的使得column anchor很难定位出垂直（ego lanes）车道线。所以本文提出使用混合方法来分别表示不同的车道线。特别的，本文使用row anchor来识别ego lanes，使用column anchor来识别 side lanes。以这种方式，“放大定位错误” 可以被解决，性能得以提升。

 

本文为了处理全局范围内的预测，本文提出了基于分类方式的车道线坐标学习，不同的类别表示不同的坐标。本文进一步把原始分类转换为了有序分类。在有序分类中，相邻类别是相近的并且有顺序关系。为了利用有序分类，本文提出两个loss 函数 对类别间的顺序关系建模，分别是分类loss和数学期望loss。有序分类使用的是连续的分类空间属性。本文使用数学期望替换了预测结果中连续类别的最大值。

本文贡献：

1）提出一个新颖、简单、但有效的车道线检测方法。对比之前方法，本文以anchor 坐标的形式表示车道线，车道线坐标可以通过分类的形式学习得到。本文可以极快并且有效地解决无视觉线索的问题。

2）本文提出hybrid anchor方法，有效降低了定位错误。基于车道线顺序关系，使用ordianl classification方法。

3）本文算法在速度和性能上达到sota，本文最快模型可以达到300+ FPS。

本文算法是上次会议版本（Ultra Fast Structure-aware Deep Lane Detection）的延伸，和上版相比，这篇论文改进如下：

1）使用hybrid anchor system。降低位置错误带来的效果较差问题。

2）Ordianl Classification losses。把车道线位置认为是一个有序分类问题。

3）Presentation & Experiments。充足的各种实验，证明效果，相同速度下，最终提升了6.3个点。

2. 相关工作

2.1 Lane Detection with Bottom-up Modeling

现有的bottom-up的车道线检测方法

2.2 Lane Detection with Top-down Modeling

现有的top-down的车道线检测方法

4. 实验

实验共分为三部分：1）实验设置。2）消融实验。3）4个车道线检测数据集上的效果。

4.1 实验设置

4.1.1 数据集

使用数据集：TuSimple, CULane, CurveLanes, LLAMAS数据集。各数据集详细描述看论文，粗略描述如下图。

 4.1.2 评估标准

TuSimple数据集使用accuracy评估：

其中Cclip表示预测的车道线点的数量。Sclip表示gt。

CULane数据集使用F1-measure评估：

 

4.1.3 应用细节

超参数设置如表3所示。

 CULane数据集 图像被resize到1600*320，TuSimple数据集 图像被resize到800*320。等式10中loss系数α和β分别是0.05和1。batch size: 16，total epoch是30。优化器SGD。学习率设置为0.1。25个epoch之后衰减10倍。nvidia RTX 3090。

4.1.4 特征层的TTA（Feature Level Test Time Augmentation）

本文使用FLTTA，不同于目标检测中的TTA方法（需要整个backbone的处理），主干功能仅计算一次就实现了上下左右方向的处理。这五个增强特征处理被放在一个batch中去分类。

4.1.5 数据增强

为了克服过拟合，本文提出一个空间shift的数据增强。通过shift，让车道线延伸到图像的边界。如图10所示。

 4.2 消融实验

backbone使用ResNet-18。

4.2.1 混合anchor系统的有效性

在章节3.1上，row anchor和column anchor system扮演者不同的角色在车道线检测上。受此启发，本文提出hybrid anchor system。为了验证该算法在CULane上的有效性，这结果显示在表4上。可以看出hybird anchors 在效果上带来了巨大的提升。

4.2.2 有序分类的有效性

本文丢弃了分类head，使用的是回归head。分类loss使用Smooth L1 loss。分类和有序分类的差异在loss和后处理上。1）等式10中的所有loss使用的都是交叉熵。2）当有序分类设置使用期望时使用argmax作为标准的后处理。如表5显示。可以看出使用期望的分类可以收获更优的效果比标准分类。

 4.2.3 有序分类losses的消融实验