自动驾驶领域基于视觉的定位可否比肩基于Lidar的方法？

0.笔者小我体味：

这个工作来自于Baidu ADT部分，是该团队继L3-Net以后的在自动驾驶范畴内关于定位的又一力作，其操纵图像数据获得了与基于Lidar的方式相当的定位精度。其突出的上风在于：1.该方式到达了极高的精度。即使是在练习以及建图是用到了激光雷达（点云数据），但在现实线上利用时，只用了图像数据。在这类设备下，本方式大大节省了现实利用时的本钱，并到达了厘米级此外精度。2.该方式继续了L3-Net在求解位姿时的做法，即基于Cost volume求解位姿批改量。这类设备可以满足端到端练习的需求，并在某种水平上等价于对候选的位姿停止遍历对照，求解了一定范围内的最优解。3.该方式的时候效力可控。随着挑选较少的关键点数目，该方式可以到达极高的时候效力。但此方式也有一定的不敷，即该方式严重依靠于给定初始猜测位姿的精度。基于Cost volume的定位本质上是在候选位姿调集上做一个遍历，挑选其中的最优解。但假如给定的初始猜测位姿精度不够时，一切候选位姿的精度都有限，即没法获得一个精度较高的定位成果。这个题目能够为现实利用带来一定的范围性。

作者：秦岭北麓小丹童
Date：2022-11-15
公众号：【3D视觉工坊】

1、论文相关内容先容：

论文题目：DA4AD: End-to-End Deep Attention-based Visual Localization for Autonomous Driving

作者列表：Yao Zhou, Guowei Wan, Shenhua Hou, Li Yu, Gang Wang, Xiaofei Rui, Shiyu Song

摘要：针对自动驾驶利用范畴，本文提出了一种基于深度留意力感知特征的视觉定位框架，该框架可到达厘米级的定位精度。传统的视觉定位方式依靠于手工建造的特征或门路上的人造物体。但是，它们要末轻易由于严重的表面或光照变化而致使不稳定的婚配，要末过分稀少，没法在具有应战性的场景中供给稳定和鲁棒的定位成果。在这项工作中，本文操纵深度留意力机制，经过一种新的端到端深度神经收集来寻觅场景中有益于长间隔婚配的明显的、怪异的和稳定的特征。此外，此进修的特征描写符被证实有才能建立鲁棒的婚配，是以成功地估量出最优的、具有高精度的相机姿势。本文利用新收集的具有高质量的空中实在轨迹和传感器之间硬件同步的数据集周全考证了本方式的有用性。成果表白，与基于lidar的定位处理计划相比，在各类具有应战性的情况下，本文的方式获得了具有合作力的定位精度，这是一种潜伏的低本钱自动驾驶定位处理计划。

首要进献：

1.提出一种新奇的自动驾驶视觉定位框架，在各类具有应战性的照明条件下到达了厘米级定位精度。

2.经过一种新的端到端深度神经收集利用了留意力机制和深层特征，这有用的进步了算法性能。

3.利用具有高质量的空中实在轨迹和硬件（相机、激光雷达、IMU）同步的新数据集对所提出的方式停止严酷测试，并考证了其性能。

方式先容：该系统分为三个阶段:(1)收集练习;(2)舆图天生;(3)在线定位。舆图天生和在线定位都可以看做是经过练习的收集的利用。提出的收集架构如图1所示。

Fig1：基于端到端深度留意力感知特征的视觉定位框架在三个分歧阶段的收集架构和系统工作流:a)练习;bb)舆图天生;c)在线定位。

一、系统工作流

1. 练习：练习阶段包括三个模块，LFE, AKS和WFM。首先，给定一个猜测位姿，并拔取其在欧氏间隔内最接近的舆图图像；接下来，LFE模块别离从在线图像和舆图图像中提取浓密特征，并从舆图图像中提取响应的留意力热图。AKS模块按照热图的留意力得分，从舆图图像当挑选具有好的特征的点作为关键点。然后经过激光雷达点云投影获得它们的响应的三维坐标。最初，以这些三维关键点和特征描写符作为输入，WFM模块在一个三维价格卷中搜索，寻觅最优位姿偏移量，并将最优位姿偏移量与空中实在位姿停止比力，机关损失函数。

2.舆图天生：练习竣事后，利用如图2所示的收集的部份子收集，可以完成舆图天生。给定激光雷达扫描和车辆实在位姿，可以很轻易地获得激光雷达点的全局三维坐标。留意，激光雷达传感器和车辆位姿真值仅用于建图。首先，在给定车辆实在位姿的情况下，经过将三维激光雷达点投影到图像上，将舆图图像像素与全局三维坐标关联起来。然后操纵LFE收集求解舆图图像的留意力热图和分歧分辨率的特征图。接下来，在AKS模块的金字塔中为分歧的分辨率挑选一组关键点。整体而言，本方式将关键点及其特征描写符，以及其3D坐标保存到舆图数据库中。

3.在线定位：在定位阶段，操纵LFE收集再次估量在线图像平分歧分辨率的特征图。本方式从给定的相机的猜测位姿的比来的舆图图像中收集关键点及其特征描写符和全局3D坐标。然后，在WFM模块中，构建的本钱卷中给出了候选位姿，而这些关键点则被操纵这些候选位姿投影到在线图像上。经过三个分歧分辨率的特征婚配收集级联实现由粗到细的位姿估量。

Fig.2 三个首要模块的收集结构说明:(a)部分特征进修(LFE);(b)关键点拔取(AKS);(c)加权特征婚配(WFM)。

二、部分特征进修

在一切三个分歧的阶段都利用不异的LFE模块。本文彩用了一品种似于特征金字塔收集(FPN)的收集架构，如图2(a)所示。经过将编码器息争码器中不异巨细的特征图级联起来，FPN可以在一切标准上增强高级语义特征，从而获得更强大的特征提取器。在本方式的编码器中有一个FPN，其由17层收集组成，可以分化为4个阶段。第一阶段由两个二维卷积层组成，其中括号中的数字别离是通道、核和步幅巨细。从第二阶段起头，每个阶段包括一个二维卷积层和两个残差块。每个残差块由两个3 × 3卷积层组成。在解码器中，经过二维卷积层后，上采样层被利用于从更粗糙但语义更强的特征中发生更高分辨率的特征。来自编码器的不异分辨率的特征被经过按元素均匀来合并以增强解码器中的这些特征。解码器的输出是原始图像的分歧分辨率的特征图。再经过如图2右下角所示的两个分歧的收集头，别离用于提取特征描写符和估量留意力热图。特征描写符暗示为d维向量，可以在分歧光照或视点条件引发的严重表面变化下停止鲁棒婚配。该热图由[0-1]标量组成，这些标量在后文的基于留意力的关键点挑选和特征婚配模块中用作相关性权重。更具体地说，

是描写符进修模块输出， 其中s∈2,4,8是标准因子，D = 8为特征维度。留意力热图输出是

．

三、关键点拔取

在研讨进程中，领会到分歧的关键点挑选战略对系统的整体性能有相当大的影响。AKS模块分为两个阶段:练习和舆图天生。当在处理一个多少题目时，众所周知，相较于聚集在一路的关键点，在多少空间中几近均匀散布的一组关键点是相当重要的。本方式发现，提出的方式优于其他更自然的挑选，例如top-K。本方式斟酌了两种挑选战略，即最远点采样(FPS)算法及其变体，加权FPS (WFPS)算法（如图2(b)所示）。给定一组已选点S和未选点Q，假如试图迭代地从Q当挑选一个新点, FPS算法会计较

在本方式的WFPS算法中，取而代之的是计较

在练习阶段，本方式的方针是同一进修一切的候选者的留意力分数，是以必必要有一个有用的随机挑选战略。为此，首先随机抽取K个候选点，然后，本方式利用FPS算法来挑选其中的关键点。在舆图天生阶段，本方式经过有用地连系进修的留意力权重实现了一个可以挑选好的关键点的算法。本方式再次随机挑选K个候选点，然后在舆图天生进程中利用WFPS，并以热图为采样几率来利用浓密采样。为了将二维特征描写符与三维坐标相关联，本方式将3D激光雷达点投射到图像上。斟酌到并非一切的图像像素都与LiDAR点相关联，本方式只斟酌与已知三维坐标有关联的稀疏2D像素作为候选点，从当挑选合适婚配的关键点。

四、加权特征婚配

传统方式凡是操纵RANSAC框架中的PnP求解器来求解给定2D-3D对应的摄像机位姿估量题目。不幸的是，这些包括异常值拒绝步调的婚配方式是不成微的，从而障碍了他们在练习阶段的反向传布。L3-Net引入了一种特征婚配和位姿估量方式，该方式操纵可微分的三维价格卷来评价给定的位姿偏移量下，来安闲线图像和舆图图像的对应特征描写符对的婚配价格。下面，本方式对本来的L3-Net设想停止改良，提出将留意力权重归入处理计划，并使其有用练习。收集架构如图2(c)所示。

价格卷：与L3-Net的实现类似，本方式建立了一个

的价格卷，其中

为所选关键点的个数，

和

为每个维度的网格巨细。具体来说，给定猜测位姿作为价格卷中心，将其相邻空间均匀分别为一个三维网格，记为

。该价格卷中的节点是候选位姿，本方式希望从中评价其对应的特征对并找到最优解。具体而言，操纵每个候选位姿将舆图图像当选定的三维关键点投影到在线图像上，经过对在线图像特征图停止双线性插值，计较出对应的部分特征描写符。经过计较在线和舆图图像的两个描写符之间的元素的总的L2间隔，本方式实现了一个单维价格标量。然后，由一个以Conv3D(8,1,1)-Conv3D(8,1,1)-Conv3D(1,1,1)为内核的三层三维CNN对价格卷停止处置，成果记为

边沿化：经过利用均匀操纵，在关键点维度上将婚配价格卷

边沿化为

。在LFE模块的热图进修练习中，成功的关键在于若何有用地连系一切关键点特征的留意力权重。与没有留意力权重的均匀相比，最间接的处理计划是利用加权均匀操纵取代间接均匀。本方式在练习时利用加权均匀，在在线定位化阶段利用间接均匀。其他部分估量

的最优偏移量

及其几率散布

与图2 (c)所示的L3-Net的设想不异。

五、损失函数设想

1)绝对损失:

以估量偏移量

与真值

之间的绝对间隔作为第一个损失:

其中α是一个平衡因子。

2)聚集损失:除上述绝对损失外，几率散布

对估量的鲁棒性也有相当大的影响。

是以，取

其中

。从而第二个损失函数界说为

3)类似损失:除多少约束外，对应的2D-3D关键点该有类似的描写符。是以，本方式将第三个损失界说为:

其中，为关键点P的三维CNN的输出，当利用真值位姿将舆图中的关键点投影到在线图像上时，在在线图像中找到对应的点，并计较婚配点对之间的描写符的间隔。

是一个常数。

1.面向自动驾驶范畴的3D点云方针检测全栈进修线路！(单模态+多模态/数据+代码)
2.完全搞透视觉三维重建：道理分解、代码讲授、及优化改良
3.国内首个面向产业级实战的点云处置课程
4.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲授
5.完全搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
6.完全搞懂基于LOAM框架的3D激光SLAM: 源码分解到算法优化
7.完全分解室内、室外激光SLAM关键算法道理、代码和实战(cartographer+LOAM +LIO-SAM)
8.从零搭建一套结构光3D重建系统[理论+源码+理论]
9.单目深度估量方式：算法梳理与代码实现
10.自动驾驶中的深度进修模子摆设实战
11.相机模子与标定(单目+双目+鱼眼）
12.重磅！四旋翼飞翔器：算法与实战
13.ROS2从入门到精通：理论与实战
14.国内首个3D缺点检测教程：理论、源码与实战

更多干货

接待加入【3D视觉工坊】交换群，为3D范畴进献自己的气力！接待大师一路交换长大~

增加小助手微信：dddvision，备注黉舍/公司+姓名+研讨偏向即可加入工坊一路进修进步。