对SLAM和自动驾驶定位的思考，最新自动驾驶视觉SLAM ...

抖音营销 2023-9-24 17:38 6614人围观定位

摘要

自动驾驶车辆在分歧的驾驶情况中需要切确的定位和建图处理计划。在这类布景下，SLAM技术是一个很好的处理计划。LIDAR和相机传感器凡是用于定位和感知。但是，经过十年或二十年的成长，激光雷达SLAM方式似乎没有太大变化。与基于激光雷达的计划相比，视觉SLAM具有低本钱和易于安装的优点，具有较强的场景识别才能。究竟上，人们正试图用相机取代激光雷达传感器，大概在自动驾驶范畴中基于相机集成其他传感器。基于视觉SLAM的研讨现状，本文对视觉SLAM技术停止了综述。出格是，论文首先说了然视觉SLAM的典型结构。其次周全回首了视觉和基于视觉（即视觉-惯性、视觉-LIDAR、视觉-LIAR-IMU）SLAM的最新研讨，并将论文之前工作的定位精度与公共数据集上的著名框架停止了比力。最初，会商了用于自动驾驶车辆的视觉SLAM技术的关键题目和未来成长趋向。

作者：汽车人 | 原文出处：公众号【自动驾驶之心】
自动驾驶之心->：【SLAM交换群】

点击关注@自动驾驶之心，第一时候看到最前沿与代价的CV/自动驾驶/AI类工作~

激烈保举！自动驾驶与AI进修社区：接待加入国内首个自动驾驶开辟者社区！这里有最周全有用的自动驾驶与AI进修线路（感知/定位/融合）和自动驾驶与AI公司内推机遇！

简介

随着机械人技术和野生智能（AI）技术的成长，自动驾驶车辆（汽车）已成为产业界和学术界的一个热门话题（Badue等人，2021）。为了平安导航，它需要为四周情况建立一个正确的暗示，并估量其中的自车状态（即自车定位）。传统的定位方式基于GPS或实时静态（RTK）定位系统（Cadena等人，2016b）。但是，由于信号反射、时候误差和大气条件，GPS的丈量误差限制在十几米之内，这对于车辆导航来说是不成接管的，特别是当车辆在地道和城市峡谷场景中行驶时（Cheng等人，2019）。RTK可以经过牢固校准基站的内部校正信号来校正这些误差，但这类系统依靠于本钱较高的附加根本设备（Infotip Service GmbH，2019）。SLAM方式被以为是自动驾驶车辆定位和导航的杰出处理计划，它可以实时估量移动车辆的姿势，同时构建四周情况的舆图（Durrantwhyte和Bailey，2006）。按照传感器范例的分歧，SLAM方式首要分为两类：LIDAR SLAM和视觉SLAM。由于激光雷达SLAM比视觉SLAM启动得早，是以在自动驾驶仪的利用中相对成熟（Debeunne和Vivet，2020a）。与相机相比，激光雷达传感器对光照和夜间的变化不太敏感。此外，它还可以供给具有更大视野（FOV）的3D舆图信息。但是难以负担的本钱和大范围的长开辟周期致使激光雷达传感器难以提高。相比之下，视觉SLAM具有信息丰富、易于安装的优点，而且使系统更廉价、更轻。今朝视觉SLAM系统可以在微型小我计较机（PC）和嵌入式装备中运转，甚至可以在智能手机等移动装备中运转（Klein和Murray，2009）。

与室内或室外移动机械人分歧，自动驾驶车辆具有更复杂的参数，特别是当车辆在城市情况中自动驾驶时。例如，情况的面积更大，有静态障碍，是以视觉SLAM方式的性能不够正确和鲁棒（Cadena等人，2016a）。诸如误差积累和照明变化以及快速活动等题目致使有题目标估量。已经斟酌了各类方式来处理与自动驾驶车辆相关的这些题目。例如用于视觉里程（VO）的基于特征点/间接/半间接/点线融合的算法（Singandhupe和La，2019），以及用于姿势估量的扩大卡尔曼滤波器（EKF）/基于图的优化算法（Takleh等人，2018）。同时，基于视觉的多传感器融合方式也为进步自立系统的精度而引发了极大的关注。

在基于视觉的SLAM系统中，除了建图模块之外，传感器数据的收集（如相机或惯性丈量单元（IMU）、VO和视觉惯性里程计（VIO）系统）在前端完成，而优化、闭环在后端完成。重定位始终被以为是进步视觉SLAM系统正确性的附加模块（Taketomi等人，2017）。本文综述了视觉SLAM方式。这主如果从视觉SLAM系统的定位精度方面斟酌的，而且已经尽能够具体地研讨了能够利用于自动驾驶场景的方式，包括纯视觉SLAM方式、视觉-惯性SLAM方式和视觉-LIDAR-惯性SLAM方式，而且将论文先前工作的定位精度与公共数据集上的已知方式停止了比力。这篇综述对视觉SLAM技术停止了具体的综述，可以为自动驾驶汽车范畴的新研讨职员供给友爱的指南。此外，它可以被视为一本辞书，供有经历的研讨职员在未来的工作中寻觅能够的偏向。

视觉SLAM道理

视觉SLAM系统的典范结构可分为五个部分：相机传感器模块、前端模块、后端模块、回环模块和建图模块。如图1所示，相机传感器模块负责收集图像数据，前端模块负责跟踪两个相邻帧之间的图像特征，以实现初始相机活动估量和部分建图，后端模块负责前真个数值优化和进一步的活动估量，回环模块负责经过计较大范围情况中的图像类似度来消除积累误差，建图模块负责重建四周情况（Gao等人，2017）。

相机传感器

按照传感器范例的分歧，常见的视觉传感器首要可分为单目、双目、RGB-D和事务摄像机。摄像机传感器如图2所示。

市场上风行的视觉传感器制造商和产物以下，但不限于：

MYNTAI：S1030系列（带IMU的双目摄像头）、D1000系列（深度摄像头）、D1200系列（适用于智妙手机）；
Stereolabs ZED：Stereolab ZED相机（深度范围：1.5至20米）；
Intel：200系列、300系列、Module D400系列、D415（自动红外双目、转动快门）、D435（自动红外双目、全局快门）、D4 35i（集成IMU）；
微软：Azure Kinect（适用于带IMU的麦克风）、Kinectc-v1（结构光）、Kinect-v2（TOF）；
Occipital Structure：Structure Camera (利用于ipad)；
三星：第2代和第3代静态摄像头和基于事务的视觉处理计划（Son等人，2017b）。

前端

视觉SLAM的前端被称为视觉里程计（VO）。它负责基于相邻帧的信息大略地估量相机活动和特征偏向。为了获得具有快速响应速度的切确姿势，需要有用的VO。今朝，前端首要可分为两类：基于特征的方式和间接方式（包括半间接方式）（Zou等人，2020）。本节首要回首VO的基于特征的方式。关于半间接和间接方式在后文。

基于特征点的VO系统运转更稳定，对光和静态方针相对不敏感。具有高标准和杰出扭转稳定性的特征提取方式可以大猛进步VO系统的牢靠性和稳定性（Chen等人，2019）。1999年，Lowe（2004）提出了标准稳定特征变更（SIFT）算法，该算法在2004年获得了改良和成长。全部算法分为三个步调来完成图像特征点的提取和描写。（i）通太高斯差分金字塔方式构建标准空间，并通太高斯微分函数识别感爱好的点。（ii）肯定每个候选的位置和比例，然后找出关键点。（iii）将指向特征指定给关键点以获得描写子。

SIFT消耗大量计较。SURF（Herbert等人，2007）是SIFT的改良。它处理了SIFT运算量大、实时性差的弱点，连结了SIFT算子的良好性能。虽然如此，SURF算法在利用于实时SLAM系统时具有更大的范围性。在保证性能的根本上，提出了一种加倍重视计较速度的特征提取算法。2011年，Viswanathan（2011）提出了一种基于模板和机械进修方式的部分角点检测方式，即FAST角点检测法。FAST算法将要检测的像素作为圆心，当具有牢固半径的圆上的其他像素与圆心的像素之间的灰度差充足大时，该点被以为是角点。但是，FAST角点不具有偏向和标准信息，它们不具有扭转和标准稳定性。2012年，Rublee等人（2012）提出了基于FAST角点和BRIEF描写符的定向FAST和扭转BRIEF（ORB）算法。该算法首先在图像上构建图像金字塔，然后检测FAST关键点并计较关键点的特征向量。ORB的描写符采用了二进制字符串特征BRIEF描写符的快速计较速度（Michael等人，2010），是以ORB计较速度比具有实时特征检测的fast算法更快。此外ORB受噪声影响较小，具有杰出的扭转稳定性和标准稳定性，可利用于实时SLAM系统。2016年，Chien等人（2016）比力并评价了用于VO利用的SIFT、SURF和ORB特征提取算法。经过对KITTI数据集的大量测试（Geiger等人，2013），可以得出结论，SIFT在提取特征方面最正确，而ORB的计较劲较小。是以，作为计较才能有限的嵌入式计较机，ORB方式被以为更合适自动驾驶车辆的利用。

VO的其他图像特征描写子以下所列，但不限于DAISY（Tola等人，2010）、ASIFT（Morel和Yu，2009）、MROGH（Fan等人，2011a）、HARRIS（Wang等人，2008）、LDAHash（Fan等，2011b）、D-BRIEF（Trzcinski和Lepetit，2012）、Vlfeat（Vedali和Fulkerson，2010），FREAK（Alahi等人，2012），Shape Context（Belongie等人，2002）、PCA-SIFT（Ke和Sukthantar，2004）。

后端

后端接收前端估量的摄像机位姿，并优化初始位姿，以获得全局分歧的活动轨迹和情况图（Sunderhauf和Protzel，2012）。与前真个多样化算法相比，当前后端算法的范例首要可分为两类：基于滤波器的方式（如扩大卡尔曼滤波器（EKF）Bailey等人，2006）和基于优化的方式（例如因子图Wrobel，2001）。它们的描写以下：

基于滤波器的方式，该方式首要利用贝叶斯道理基于先前状态和当前观察数据来估量当前状态（Liu，2019）。典型的基于滤波器的方式包括扩大卡尔曼滤波器（EKF）（Bailey等人，2006）、无迹卡尔曼滤波器（UKF）（Wan和Merwe，2000）和粒子滤波器（PF）（Arnaud等人，2000）。以典型的基于EKF的SLAM方式为例，它在小范围情况中的利用相对成功。但是，由于协方差矩阵是存储的，其存储容量随着状态量的平方而增加，是以在大型未知场景中的利用总是遭到限制。
基于优化的方式，基于非线性优化（图优化）方式的焦点思惟是将后端优化算法转换为图的形式，以分歧时辰的主题位姿和情况特征为极点，极点之间的约束关系由边暗示（Liang等人，2013）。构建图形后，利用基于优化的算法来求解方针的位姿，以便极点上要优化的状态更好地满足响应边上的约束。在履行优化算法以后，对应的图是方针活动轨迹和情况图。今朝，大大都支流的视觉SLAM系统利用非线性优化方式。

回环

回环的使命是答应系统基于传感器信息识别当前场景，并在返回原始位置时肯定该地区已被拜候，从而消除SLAM系统的积累误差（Newman和Ho，2005）。对于视觉SLAM，传统的回环检测方式首要利用单词包（BoW）模子（Galvez LoPez和Tardos，2012），实现步调为：（i）经过对从图像中提取的部分特征的K-means聚类，构建包括K个单词的单词列表。（ii）按照每个单词的出现次数将图像暗示为K维数值向量。（iii）判定场景的差别，并识别自动驾驶车辆能否已到达所识此外场景。

建图

自动驾驶汽车的一个根基组成部分是建立情况舆图并在舆图上定位的才能。建图是视觉SLAM系统的两项使命之一（即定位和建图），它在自动驾驶的导航、避障和情况重建中发挥侧重要感化。一般来说，舆图的暗示可以分为两类：怀抱舆图和拓扑舆图。怀抱舆图描写了舆图元素之间的相对位置关系，而拓扑舆图夸大了舆图元素间的毗连关系。对于典范的SLAM系统，怀抱舆图可以进一步分为稀疏舆图和麋集舆图，稀疏舆图仅包括场景中的少许信息，这合适于定位，而麋集舆图包括更多信息，这有益于车辆按照舆图履行导航使命。

SOTA研讨

视觉SLAM

与前文描写的VO子系统类似，按照操纵图像信息的方式，纯视觉SLAM系统可分为两类：基于特征的方式和间接方式。基于特征的方式是指经过提取和婚配特征点来估量相邻帧之间的相机活动和构建情况舆图。这类方式的弱点是提取特征点和计较描写符需要很长时候。是以，一些研讨职员倡议放弃关键点和描写符的计较，然后发生间接方式（Zou等人，2020）。此外，按照传感器的范例，视觉SLAM可以分为单目、双目、RGB-D和基于事务相机的方式。按照舆图的密度，可分为稀疏、麋集和半麋集SLAM，先容以下：

基于特征的方式：2007年，Davison等人（2007）提出了第一个实时单目视觉SLAM系统，Mono-SLAM。实时特征patch偏向估量的成果如图3（a）所示。在后端利用EKF算法来跟踪畴前端获得的稀疏特征点，并利用相机位姿和界标点偏向作为状态量来更新其均值和协方差。同年，Klein和Murray（2007）提出了一种并行跟踪和建图系统PTAM。它实现了跟踪和建图工作的并行化。特征提取和建图的进程如图3（b）所示，初次经过非线性优化方式区分了前端和后端，并提出了关键帧机制。关键图像串联毗连以优化活动轨迹和特征定向。很多随后的视觉SLAM系统设想也采用了类似的方式。2015年，Mur Artal等人（2015）提出了ORB-SLAM，这是一种相对完整的基于关键帧的单目SLAM方式。与PTAM的双线程机制相比，该方式将全部系统分为三个线程：跟踪、建图和回环。需要留意的是，特征提取和婚配（左列）、舆图构建和循环检测的进程都基于ORB特征（右列）。图3（c）是大学门路情况中单目相机的实时特征提取进程（左列）和轨迹跟踪和建图成果（右列）。2017年，Mur Artal等人提出了ORB-SLAM2的后续版本（Murartal和Tardos，2017）。该版本支持回环检测和重定位，具有实时舆图重勤奋用，此外，改良的框架还翻开了双目相机和RGB-D相机之间的接口。图3（d）的左列显现了ORB-SLAM2的双目轨迹估量和特征提取。图3（d）的右栏显现了RGB-D相机在室内场景中的关键帧和麋集点云建图结果。图片中持续的绿色小方块组成了关键帧的轨迹，RGB-D相机构建的麋集3D场景舆图围绕着关键帧。

基于间接的方式：2011年，Newcombe等人（2011b）提出了基于间接方式DTAM的单目SLAM框架。与基于特征的方式分歧，DTAM采用基于逆深度的方式来估量特征的深度。经过间接图像婚配计较相机的位姿，并经过基于优化的方式构建麋集舆图（图4（a））。2014年，Jakob等人（2014）提出了LSD-SLAM（图4（b）），这是间接方式在单眼视觉SLAM框架中的成功利用。该方式将面向像素的方式利用于半麋集单目SLAM系统。与基于特征的方式相比，LSD-SLAM的灵敏度较低，但当相机内参和照明变化时，系统很懦弱。2017年，Forster等人（2017）提出了SVO（半间接视觉里程计）。它利用稀疏间接法（也称为半间接法）来跟踪关键点（图4（c）的底部），并基于关键点四周的信息来估量位姿。图4（c）顶部显现了室内幕况中稀疏舆图的轨迹。由于半间接方式跟踪稀疏特征，既不计较描写符，也不处置麋集信息，是以SVO具有较低的时候复杂度和较强的实时性。2016年，Engel等人（2018）提出了DSO，该方式还利用半间接方式以确保在更快的操纵速度下获得更高的精度。但是，它们只是视觉里程计。由于缺少后端优化模块和回环模块，系统的跟踪误差会随着时候积累。图4（d）显现了DSO（单目视觉里程计）的3D重建和跟踪结果。间接法具有计较速度快、对弱特征条件不敏感等优点。但是，它基于灰度级稳定的激烈假定，是以它对照明的变化很是敏感。相反特征点方式具有杰出的稳定性。2020年，Zubizarreta等人（2020）提出了一种间接稀疏映照方式DSM，这是一种基于光度学束调剂（PBA）算法的全单目视觉SLAM系统。表1总结了最早辈的视觉SLAM框架的首要特点及其优弱点。除上述典型框架外，还研讨了其他相关工作，如（i）稀疏视觉SLAM；（ii）半麋集视觉SLAM；（iii）麋集视觉SLAM。正如你所看到的，视觉SLAM范畴有很多成就，论文只是对风行的方式停止了回首。即使视觉SLAM供给了杰出的定位和建图成果，一切这些处理计划都有优点和弱点。在这项工作中，总结了“基于稀疏的方式”、“基于麋集的方式”和“基于特征的方式”的优弱点，“基于间接的方式”，“单目方式”，”双目方式“，”RGB-D方式“和”事务相机方式“可在表2中找到。

视觉-惯性SLAM

IMU传感器可以供给一个很好的处理计划，以处理当相机移动到具有应战性的情况中（较少的纹理和/或照明变化）时跟踪失利的题目，另一方面，视觉传感器可以填补IMU的积累漂移。这类视觉和IMU的连系被称为黄金同伴。由于相机和IMU的互补功用，在无人驾驶等范畴具有杰出的成长远景（Sun和Tian，2019）。VI-SLAM的首要方式是将IMU信息连系到视觉SLAM系统的前端，该系统也称为视觉惯性里程计（VIO）系统。凡是，VI-SLAM系统可分为两类：基于滤波器的方式和基于优化的方式：

基于特征的方式：2007年，Mourikis和Roumeliotis（2007）提出了多状态约束卡尔曼滤波器（MSCKF），这是最早的基于扩大卡尔曼滤波器（EKF）算法的视觉惯性SLAM系统。与纯视觉里程计相比，MSCKF（图5（a））可以在一按时候内顺应更剧烈的活动和纹理损失，具有更高的鲁棒性。2012年，Stephan（2012）提出了SSF（图5（b）），它是一种基于EKF和松耦合方式的时候提早抵偿单传感器和多传感器融合框架。2013年，Li和Mourikis（2013）指出了MSCKF在状态估量进程中的纷歧致性。2017年，Paul等人（2017）提出了MSCKF2.0，这大猛进步了正确性、分歧性和计较效力。此外，ROVIO（鲁棒视觉惯性里程表）（Bloesch等人，2015）（图5（c））和MSCKF-VIO（Ke等人）（图6（d））也是近年来基于过滤方式的优异作品；

基于优化的方式：就基于优化的VI-SLAM系统而言，最典范的框架是OKVIS。2015年，Leutinegge等人提出了OKVIS，它利用IMU丈量值来猜测当前状态、空间点和二维图像特征，以组成重投影误差。猜测的IMU状态量和优化的参数组成IMU误差项，然后再投影误差与IMU误差相连系以停止优化。2017年，Tong等人（2017）提出了VINS-Mono，它被视为一种优异的单目VI-SLAM系统，前端采用光流方式，后端采用基于滑动窗口的非线性优化算法（Cheng等人，2021b）。此外，VINS-Mono的初始化方式值得留意，它采用了不订交方式（以及VI-ORBSLAM Mur Artal和Tards，2017），该方式首先初始化纯视觉子系统，然后估量IMU（加速度计和陀螺仪）的误差、重力、比例和速度。经过KITTI和EuRoC数据集的测试，VINS Mono已被证实具有与OKVIS相当的定位精度，在初始化和环路闭合阶段具有更完整和鲁棒性。2019年，VINS-Mono团队提出了双目版本，并整合了GPS信息，VINS-Fusion（Tong等人，2019）。如图6（c）所示，由于增加了GPS丈量，它在户外情况中实现了杰出的定位和建图结果，而且被以为是自动驾驶车辆范畴的一个杰出利用。2020年，Campos等人（2020）提出了一种基于特征的慎麋集成视觉惯性SLAM系统ORB-SLAM3。这是经过最大后验（MAP）算法实现的更高效初始化进程的最新功效，而且它实现了多舆图功用，该功用依靠于具有改良的召回率的新地址识别方式。此外，该系统可以利用单目、双目和RGB-D相机履行视觉、视觉-惯性和多舆图SLAM。户外场景的尝试成果如图6（d）所示。ORB-SLAM3的管道与ORB-SLAM2类似，全部系统由三个线程组成：跟踪、部分建图和回环线程。此外，ORB-SLAM3可以在长时候的不良视觉信息中保存，当它丧失时，它会启动一个新的舆图，当重新拜候舆图地区时，它将与之前的舆图无缝合并。表3总结了近年来视觉惯性SLAM框架中的首要算法。今朝，基于优化的VI-SLAM方式已成为支流。除上述方式外，还有其他最早辈的工作可以总结以下，但不限于BASALT、Kimera、ICE-BA、Maplab、StructVIO。

测试和评价

为了直观地了解上述SLAM方式的定位结果，在装备Intel Core i7-9700 CPU、16 GB RAM和Ubuntu18.04+Melodic操纵系统的同一机载计较机上测试了一些典型算法，并将其与我们之前的一项工作（Cheng等人，2021a）停止了比力。如Cheng等人（2021a）所述，基于传统的高斯-牛顿（G-N）线性迭代战略，提出了一种改良的相信域迭代战略，然后将该战略集成到VI-ORBSLAM框架中（Mur-Artal和Tards，2017），以实现更快的初始化和更高的定位精度。信赖地区迭代战略的模子如图7所示。它连系了最速下降算法和G-N算法，用信赖模子逼近方针函数。当解被以为是当前点四周模子函数的最小值时，则在每个迭代步调中求解最小化子题目。

需要估量的初始参数包括比例因子、速度、重力以及加速度计和陀螺仪的误差。为了使一切变量都可观察到，纯ORB-SLAM系统需要履行几秒钟。该方式的具体步调以下：首先，履行视觉初始化进程，包括ORB提取、舆图初始化和初始位姿估量。其次，采用IMU预集成技术对IMU相机停止频次瞄准，天生关键帧。第三，提出了一种改良的基于相信域的迭代战略，用于陀螺误差估量，并对重力偏向停止了细化。最初，在先前估量的根本上估量加速度计误差和视觉标准。论文之前工作的管道如图8所示。

EuRoC数据集V2_01_easy序列上算法的2D轨迹如图9所示。可以看到，与GT相比，每个算法的测试成果都有分歧水平的误差，论文算法的轨迹（红线）更接近GT（黑虚线），而VI-ORBSLAM（蓝线）的漂移最大。X、Y、Z偏向的位置变化曲线如图10所示。欧拉角（即横摇、俯仰、偏航）的比力曲线如图11所示。表4显现了在全部11个序列中测试的同一CPU平台（i7-9700 CPU）中的定量均方根误差（RMSE）成果和帧速度，由于一切算法都采用多线程，所以表4的第三列报告了处置图像流时的帧速度。图12和图13别离供给了平移误差的RMSE和积累散布函数（CDF），图14和图15别离供给了定向误差的RMSE和积累散布功用（CDF）。可以晓得，论文之前的工作，一个快速单目视觉惯性系统，具有改良的迭代初始化战略方式，在几近一切序列中实现了最好的定位精度。现实上，由于出色的初始化进程，论文的方式在六个序列和七个序列上供给了最好的定向性能，即使系统没法提取ORB特征，系统也可以快速重新启开工作。

视觉-LIDAR SLAM

视觉和激光雷达有各自的优点，例如视觉可以从情况中获得大量的纹理信息，而且具有很强的场景识别才能，而LADAR不依靠光，牢靠性好，间隔丈量精度更高。是以，在自动驾驶范畴，集成视觉和激光雷达的SLAM系统可以供给更智能、更牢靠的情况感知和状态估量处理计划。它遵守具有三个首要步调的典范SLAM架构：（i）数据处置步调；（ii）估量；（iii）全局建图步调。按照视觉和激光雷达在SLAM系统中的分歧比例，视觉激光雷达SLAM计划可分为三类：视觉指导方式、激光雷达指导方式和视觉激光雷达相互校正方式。

视觉指导方式：视觉SLAM，出格是对于单目视觉SLAM而言，总是没法有用地提取特征点的深度信息，而LIDAR是这方面的专家。为了填补视觉SLAM的弱点，研讨职员试图将LIDAR数据融合到视觉SLAM系统中。视觉指导SLAM的代表作是LIMO（Graeter等人，2018）。该方式将激光雷达获得的空间点云投影到图像平面上，以估量视觉特征的标准，然后将激光雷达规复的视觉特征标准和从相机位姿估量获得的特征标准机关误差项作为后端优化的约束。Shin等人（2018b）提出了一种利用LIDAR获得视觉SLAM的稀疏深度点云的方式，由于相机的分辨率远高于LIDAR，该方式存在大量像素没有深度信息的题目。为领会决这个题目，De Silva等人（2018）在计较两个传感器之间的多少变更后，采用了高斯回归模子来插值缺失的深度值。该方式利用激光雷达间接初始化图像中检测到的特征，其结果与利用RGB-D传感器的方式不异。还有一些研讨将激光雷达集成到视觉SLAM中，以进步处理计划的利用代价，例以下降本钱、进步性能和增强系统鲁棒性。一些研讨在建图阶段利用视觉SLAM的姿势估量停止点云标注。Zhang等人（2018b）提出了一种基于一维激光雷达测距仪的单目视觉SLAM方式，该方式在低本钱硬件上实现了有用的漂移校正，并用于处理单目SLAM中经常出现的标准漂移题目。Scherer等人（2012）采用无人机建图河流沿线的水道和植被，利用视觉里程丈量和IMU相连系的融合框架来估量状态，并利用激光雷达检测障碍物并建图河流鸿沟，但这类方式发生了包括遮挡点的点云，这在一定水平高低降了状态估量的正确性。Huang等人（2019）处理了这一题目，并提出了一种包括遮挡点检测和共面点检测机制的间接SLAM方式。
LIDAR指导方式：在LIDAR指导的方式方面，它采用视觉信息来进步回环检测的正确性，大概在姿势估量阶段构建LIDAR特征变更误差和视觉重投影误差的结合优化函数来进步位姿估量的鲁棒性，例如Bai等（Bai等人，2016）利用卷积神经收集提取特征以实现回环检测，并经过设备婚配范围有用避免环路闭合场景的失配，并经过特征紧缩确保SLAM系统的实时性能。Liang等人（2016）利用扫描婚配和基于ORB特征的回环检测技术来改良基于LIDAR的SLAM的弱性能。Zhu等人（2018）提出了一种利用视觉回环检测的3D激光SLAM方式，该方式经过利用视觉辞汇袋的关键帧技术来实现回路检测。此外，迭代比来点（ICP）方式（Arun等人，1987）也可以经过激光雷达和视觉融合停止优化。Pande等人（2011）利用视觉信息来估量刚体变更，然后提出了一个广义ICP框架。
视觉-激光雷达相互校正方式：上述研讨方式大多利用单一SLAM方式，并利用另一个传感器作为帮助装备。也有一些研讨试图将两种SLAM方式连系起来，以相互改正。VLOAM（Zhang和Singh，2015）是视觉激光雷达相互校正的典范实时方式。该方式利用激光雷达扫描圆内的视觉里程计估量的相机位姿来校正激光点云。点云活动失真，利用在相邻扫描校正以后从LIDAR点云估量的相对位姿来校重视觉估量姿势，并将校正后的点云映照到部分舆图以停止后续位姿优化。Seo和Chou（2019）提出了一种并行SLAM方式，该方式同时利用激光雷达SLAM和视觉SLAM，其特征在于在后端利用两种形式的丈量残差来优化后端。Jiang等人（2019）利用LIDAR约束和特征点约束来界说图优化的本钱函数，并构建了2.5D舆图以加速回环检测进程。今朝，基于视觉LIDAR融合的SLAM方式的研讨功效和现实利用比视觉惯性融合少，需要进一步摸索和研讨。

Visual-LIDAR-IMU SLAM

今朝，多传感器融合方式（如视觉-LIDAR-IMU融合SLAM）被以为适用于L3级此外自动驾驶，并引发了很多学者的关注。基于激光雷达的SLAM系统可以获得普遍的情况细节，但在缺少结构信息的场景（特别是自动驾驶场景）中很轻易失利。例如，长长的走廊或坦荡的广场。基于视觉的方式在具有丰富纹理信息的场景中表示杰出，而且很轻易重新识别场景（Shin等人，2020）。但它对照明、快速移动和初始化进程的变化很是敏感。是以，激光雷达和视觉传感器经常与IMU融合，以进步系统的正确性和鲁棒性。IMU可以消除点云的活动失真，并在缺少特征的情况中延续一段时候，同时可以帮助视觉系统规复标准信息。今朝，关于视觉-LIDAR-IMU融合SLAM的研讨功效很少（Debeunne和Vivet，2020b）。一些学者尝试利用视觉-IMU融合系统（即视觉-惯性系统，VIS）和LIDAR-IMU融合系统（如LIDAR-惯性系统，LIS），由于这两个零丁的模块进一步融合，以构成性能更好的视觉-LIDAR-IMU融合系统（LIDAR-视觉-惯性系统，LVIS）（Chen等人，2018）。本文还先容了激光-IMU融合SLAM方式的研讨情况。

基于LIDAR-IMU融合的计分别为两类：松耦合和紧耦合计划。典型的松耦合计划是LOAM，（图16（a））和LeGO-LOMA（Shan和Englot，2018），其中IMU丈量信息未用于优化步调。与松耦合计划相比，紧耦合计划处于开辟阶段，这凡是大猛进步了系统的正确性和鲁棒性。在当前公然的慎密耦合系统中，LIO-MAPPing（Ye等人，2019）利用VINS-Mono中的优化进程来最小化IMU残差和LIDAR丈量误差。由于LIO建图旨在优化一切丈量值，是以系统的实时结果较差。Zou等人提出了LIC融合，如图16（b）所示。它融合了点云中提取的LiDAR特征和稀疏视觉特征，蓝色和红色的LiDARR点别离是平面和边沿特征，估量的轨迹用绿色标志。为了节省计较资本，LIO-SAM（图16（c））引入了滑动窗口优化算法，利用因子图方式结合优化IMU和LIDAR的丈量约束。LINS（图16（e）），专门为空中车辆设想，利用基于误差状态的卡尔曼滤波器迭代批改待估量的状态量。Zhang和Singh（2018）提出了一种慎密耦合的LVIO（激光雷达视觉惯性里程表）系统，该系统利用从粗到精的状态估量方式，从IMU猜测起头停止大略估量，然后由VIO和LIO进一步细化。今朝，LVIO算法是KITTI数据集上测试精度最高的算法。Zoo等人（2019）基于MSCKF框架实现了时空多传感器的在线校准。不幸的是，Zhang和Singh（2018）和Zoo等人（2019）实施的代码今朝不是开源的。Shan等人（2021）于2021公布了最新的可视化LIDAR-IMU紧耦合计划：LVI-SAM（图16（d））。为了进步系统的实时性能，它利用了平滑和建图算法。作者将视觉IMU和激光雷达IMU视为两个自力的子系统。当检测到充足多的特征点时，这两个子系统将链接在一路。当其中一个子系统检测不到时，这两个子系统可以自力分手，由于不会相互影响。表5总结了近年来视觉-惯性SLAM框架中的首要算法。

会商

虽然如前所述，视觉SLAM在自动驾驶车辆的定位和舆图绘制方面获得了庞大成功，但现有技术还不够成熟，没法完全处理当前的题目。当前基于视觉的定位和建图处理计划仍处于起步阶段。为了满足复杂城市情况中的自动驾驶要求，未来的研讨职员面临很多应战。这些技术的现实利用应被视为一个系统的研讨题目。此外，SLAM系统只是自动驾驶车辆复杂系统的组成部分，自动驾驶系统不能完全依靠SLAM系统，还需要装备控制、方针检测、途径计划和决议等模块。本节会商了自动驾驶车辆利用的视觉和基于视觉的SLAM确当前关键题目以及未来成长趋向的整体观察和揣度。

实时性能：自动驾驶车辆的利用要求视觉SLAM系统尽能够快速地响应。在视觉算法的情况下，10 Hz的频次被以为是车辆在城市门路上保持自动驾驶所需的最小帧速度。一方面，已经提出了一些视觉算法来显式优化实时性能，另一方面，可以经过具有更高规格性能的硬件（如GPU）来进一步改良。此外，斟酌到系统的正确性和鲁棒性，应斟酌各类情况静态（例如场景变化、移动障碍物和照明稳定量。今朝，在特定场景下，如自动代客停车（APV），摄像头最常用于实现自动驾驶的障碍物检测或躲避和车道连结；
定位：城市门路场景的自动驾驶仍处于L2和L3之间的技术攻关阶段，其中一个关键题目是车辆的位置精度很粗糙。论文观察到，高质量的自动驾驶离不开切确的位置，即使在未建图的情况中，车辆也能在厘米级的位置上导航。仅依靠精度约为10米的传统GPS接收机没法实现这类精度，凡是安装高贵的差分GPS（DGPS）接收机来实现这一点，但它引入了冗余，而视觉SLAM算法自己可用于切肯定位。如本文所述，研讨了实现相对定位的其他自力于GPS的方式，如视觉-惯性融合方式、视觉-LIDAR融合方式和视觉-LIDAR-IMU融合方式，由IMU引入的漂移误差将指数地影响精度。在视觉LIDAR融合方式方面，由于缺少本身的航位推算（DR）传感器（如编码和IMU传感器），自动驾驶车辆的定位鲁棒性没法保证。就视觉LIDAR-IMU融合方式而言，据论文所知，今朝还没有成熟的基于视觉的融合SLAM算法成功利用于实在天下的自动驾驶车辆，但近年来正在研讨很多优异的融合方式。随着激光雷达传感器本钱的下降，我们以为视觉激光雷达IMU融合方式是自动驾驶车辆高精度定位的终极计划；
测试：今朝现实天下中的实施还不充实，这可以归因于当地立法和缺少用于自动驾驶测试的开辟车辆。在这里，论文观察到，几近一切比来显现的视觉SLAM作品都在公共数据集（例如KITTI、EuROC、TUM等）上停止了测试。固然，它们是用于算法考证的绝佳数据集，但这些算法终极在实在天下情况中的表示仍有待考证。此外，对这些数据集的测试还将测试情况限制在捕捉数据集的位置，这能够不是其他国家或城市的算法的有用目标。缺少实在天下实现的另一个缘由似乎是由于视觉SLAM算法的较高计较要求，这表白在线实现将需要具有充足和公用并行处置硬件的计较机。凡是的移动计较机（如笔记本电脑）不具有桌面GPU的并行计较才能。Nvidia的DRIVE PX2（Nvidia Corporation，2017a）等商用自动驾驶计较机价格高贵，凡是没法在预算内停止开辟。使人鼓舞的是，比来出现了具有改良的视觉算法的高性能和低本钱嵌入式装备，例如，Nvidia Jetson和快速VO（即前端或部分视觉SLAM）方式的优化可以促进这些实现；
未来成长趋向：由于视觉SLAM的复杂模块（例如前端、后端、回环和建图等）增加了硬件平台的计较负担，高性能移动计较平台凡是限制了上述视觉SLAM算法在自动驾驶中的利用。基于多代理的视觉SLAM技术似乎可以克服这个题目。今朝，基于多智能体的可视化SLAM凡是用于无人机，假如它安装在自动驾驶汽车上停止移动计较，移动计较机平台只负责处置前端数据，尔后端优化和建图的进程则由远程办事器经过5G/6G通讯收集来处置，我们相信，这将大大加速视觉SLAM在未来自动驾驶车辆中的利用；

结论

比来研讨的可用性对处理视觉SLAM题目有很大进献。这项工作回首了各类范例的视觉SLAM和/或基于视觉的SLAM方式及其在自动驾驶中的利用。今朝视觉SLAM在自动驾驶汽车中的利用被以为还不成熟，但这照旧引发了普遍的关注。由于自动驾驶公共数据集的易获得性，视觉SLAM算法总是易于考证，并激励对新算法的研讨。但是，虽然数据集的可用性促进了新的视觉SLAM算法的提出，但今朝城市门路情况中的实在天下视觉SLAM利用照旧存在不敷。此外，数据集评价的成果常常与当地实在天下情况中的性能的完整指示不符，是以，自动驾驶车辆的利用有望出现适用的视觉SLAM。经过回首最早辈的视觉SLAM算法，可以确认当前视觉SLAM系统的趋向是轻量化和多智能体合作，激励将其利用于低功耗硬件，如嵌入式装备，而且多传感器融合算法被以为是自动驾驶车辆中视觉SLAM利用的焦点。综上所述，自动驾驶范畴仍存在各类题目，出格是视觉SLAM和自动驾驶车辆的连系需要摸索。虽然如此，公众对自动驾驶汽车和行将推出的高性能移动计较机的日益认可无疑将在未几的未来激起视觉SLAM的现实利用。

参考

[1] A review of visual SLAM methods for autonomous driving vehicles

0. 感知/定位/融合与计划全系列课程！

视频课程官网：https://www.zdjszx.com
自动驾驶感知：YOLOv3~YOLOv8/YOLOX/PPYOLO系列全栈进修教程
自动驾驶感知：国内首个BEV感知全栈进修教程（纯视觉+多传感器融合计划）
自动驾驶感知：多传感器融合中的毫米波雷达-视觉融合感知全栈教程（深度进修+传统方式）
自动驾驶多传感器标定：Lidar+Radar+Camera+IMU离线/在线近20+标定计划
自动驾驶计划控制：从0到1完全搞懂自动驾驶中的活动计划控制算法
自动驾驶模子摆设：基于TensorRT的CNN/Transformer/检测/BEV模子四大摆设代码