车道检测： towards end-to-endlanedetectionaninstancesegmentationapproach论文分析1 .摘要2 .研究现状2.1传统的基于深度学习的车道检测2.2实例分割方法
论文链接： https://arxiv.org/pdf/1802.05591.pdf
论文来源： CVPR2018
论文代码： https://github.com/maybeshewill-cv/lane net-lane-detection
1 .摘要本文将车道检测问题视为3358www.Sina.com/问题，每个车道形成自己的实例。 可以进行实例分割。 在装配车道之前参数化了分段车道实例，并应用了以图像为条件的端到端的训练。 这样就确保了道路变化的稳健车道匹配。 运行速度为学习透视变换，可以处理不同数量的车道，应对车道的变化。 在50帧/秒数据集上取得了很好的效果。 2 .研究现状2.1传统的车道检测方法是根据高度专业化的3358www.Sina.com/和tuSimple来识别车道。 该手工标记方法主要有手工特征标记、启发式识别、基于颜色的特征、结构张量等条形过滤器:根据道路场景的变化容易变成脊线特征。 2.2基于深度学习的车道检测是用深度神经网络代替手标，通过构建一定量学习密集的特征检测器进行预测。 即，后处理技术来滤除误检的车道段。缺点:生成的是鲁棒性问题，仍然需要分解为不同的车道实例。 为了解决这个问题，一些研究应用了像素级，这些技术依赖于几何特性为指导的缺点。 启发式方法的计算成本高，容易因道路场景的变化而产生鲁棒性问题。 2.3实例分割方法实现端到端车道检测本文设计了二元分段车道网络分支，包括后处理技术和启发式算法车道分割分支具有多任务即车道分割分支或车道嵌入分支。 车道嵌入分支将分段车道像素进一步分解为不同的http://www.Sina.com/(instance )。 使用两个输出类别训练通道嵌入分支，忽略背景像素并为来自通道划分分支的每个像素指定通道ID。 我们希望通过估算车道实例，即哪些像素属于哪个车道，将每个像素转换为参数描述。 因此，背景被广泛使用。 为了在保持计算效率的同时提高组合的质量，通常使用车道将图像转换为“俯视”图像(3358www.Sina.com/)，然后在其中执行曲线拟合。 但是，如果地平面变化较大，例如通过倾斜上坡，则此固定变换无效。 为了弥补这一点，请在拟合曲线之前对图像应用车道实例。 训练聚类损失函数以输出变换系数。 神经网络以图像为输入，结合车道匹配问题定制优化损失函数。曲线拟合算法整体如下图所示。
论文变换矩阵总结：
(1)分支的BEV将通道检测问题作为实例分割任务处理，允许通道变化的处理和任意数量的通道估计。 特别是分支每像素输出密集的车道段，车道嵌入分支进一步将分段车道像素分解为不同的车道实例。
)给定的输入图像网络估计透视变换的参数，透视变换允许车道拟合对路面变化稳健。 例如，上坡/下坡。 3 .方法设计的车道实例分割网络，神经网络LaneNet为识别流程与单镜头实例分割的贡献组合在LaneNet输出中，为每个通道的像素指定一个通道ID。 LaneNet输出每个通道的像素集合，因此必须从这些像素中检索多任务体系结构。 3
.1 LaneNet 网络结构图如下：LaneNet使用一个共享的encoder，对输入图像进行处理，得到2个branch：嵌入branch和语义分割的branch。嵌入branch可以将不同的车道线区分为不同的instance；因为只需要考虑车道线，因此语义分割的结果是二值化图像；然后对2个branch做聚类，最终得到结果。 3.2 使用H-Net进行曲线拟合 LaneNet可以得到每个车道的像素集合，需要将这些像素进行拟合，得到车道的曲线。通常情况下，车道像素被投影成“鸟瞰图”（BEV）表示，使用一个固定的转换矩阵。然而，由于变换参数对所有图像都是固定的，所以当遇到非地面时，例如在斜坡上，这会引起一些问题。为了缓解这个问题，我们训练一个网络，称为H-Network，它可以估算输入图像上的“理想”透视变换的参数。整个流程：将输入的RGB图像作为输入，使用LaneNet得到输出的实例分割结果，然后将车道线像素使用H-Net输出得到的透视变换矩阵进行变换，对变换后的车道线像素在变化后的空间（即鸟瞰BEV空间）中进行拟合，再将拟合结果经过逆投影，最终得到原始视野中的车道线拟合结果。H-Net将RGB作为输入，输出为基于该图像的透视变换系数矩阵，优化目标为车道线拟合效果。其中，透视变换（Perspective transformation）为H，有6个自由度
H-Network就是来学习H中的6个参数。车道线转到在BEV空间的像素点采用二阶或三阶多项式进行最优拟合。 4. 结果 4.1 数据集
tuSimple lane dataset：
包含3626个训练图像，2782个测试图像。环境条件有好的和一般的。图像记录了2-lane/3-lane/4-lane，或者更多的高速公路。在不同时间记录。每张图片提供19个对应的先前的图片，这些图片没有标签。标签为json格式。标签包含车道线中 x，y的离散点。 4.2 设置 LaneNet：嵌入维数（embedding dimension）是4；；图像尺寸为512x256；batch size是8；学习率为5e-4。H-Net：使用三阶多项式拟合车道曲线；输入图像尺寸128x64；batch size为10；学习率为5e-5。Speed：当输入图像尺寸为512x256，检测频率为50fps。 4.3 结果 测试准确率（误差）测试速度
结果展示