ECCV 2022｜面向精确的主动相机定位算法

题目：ECCV 2022,山东大学、北大、腾讯AILab、斯坦福和三维家结合提出，面向切确的自动相机定位算法

项目地址：https://github.com/qhFang/AccurateACL.

文章：Towards Accurate Active Camera Localization（ECCV 2022）

首要内容：

自动相机定位题目是自动控制相机活动以获得切确的相机姿势，曩昔的算法大多是基于马尔可夫的，其缺点在于削减了定位相机的位置不肯定性，在离散的姿势空间中定位相机，而且与场景属性无关，这限制了大略标准中的相机姿势精度。为此提出了一种新的自动相机定位算法来克服这些限制，该算法经过增强进修来实现切确的相机定位，由被动和自动定位模块组成。前者经过建立逐点的相机-天下对应关系来优化持续姿势空间中的相机姿势；后者对场景和相机的不肯定性别离停止建模以计划正确的途径，用于切确的相机姿势估量。在具有应战性的定位场景上考证了算法，尝试成果表白其算法在邃密标准相机姿势精度上优于最早辈的基于马尔可夫定位的方式和其他方式。

Date：2023-3-6
作者：一杯红茶
公众号【3D视觉工坊】

自动相机定位与被动相机定位被动相机定位是凡是我们所了解的相机定位，即估量拍摄一副图像时的相机的位姿，图像是被动获得的，而自动相机是经过控制相机的移动自动地去拍摄一些图片进而正确估量相机的位姿。自动相机定位凡是触及三个题目：1. 若何定位：若何定位相机以获得最正确的相机姿势2. 去那里：相机在情况中未知位置的初始化，以后它应当怎样移动以停止切确的自动定位。由于在持续相机姿势空间中存在很多可定位位置，自动定位题目变得高度模糊且难以处理。3. 何时停止：代理不晓得其实在的相机姿势，是以要怎样决议何时停止相机移动。

Pipeline：

在情况中的未知位置和偏向初始化相机后，自动相机定位的题目是自动控制相机向更好的位置移动以获得正确的相机姿势。输入：带有位姿真值的RGB-D帧序列、自动定位时代获得的瞬时RGB-D帧。对于初始RGB-D帧，被动定位模块估量当前相机姿势，自动定位模块估量相机移动的下一个行动，然后获得新的RGB-D帧，反复这样的进程直到自动定位模块决议停止移动而且在最初一步挑选终极相机姿势作为估量的相机姿势。

被动定位模块：被动定位模块是回答“若何定位”题目。经过被动定位器优化持续姿势空间中的相机姿势，采用了基于决议树的方式以实现这一目标，具体的，

的对应关系，它经过对对应关系的姿势优化来揣度相机姿势假定，并经过迭代抛弃最差的姿势假定直到最初一个剩下来肯定输入帧的相机姿势。

自动定位模块：自动定位模块由场景不肯定性和相机不肯定性组成，别离回答“去那里”和“何时停止”题目。

场景不肯定性：从两个角度来描写这类属性，即相机位于场景的何处，以及观察到的场景哪一部分对于正肯定位更有用。为了对上述信息停止建模，提出了相机驱动场景舆图和天下驱动场景舆图，他们回答了“去那里”的题目，并经过连系场景不肯定性属性和估量的相机姿势以及天下坐标，指导相机向不肯定性较小的场景地区移动。场景不肯定性属性完全由场景模子和被动定位模块决议，是以预先计较并对自动定位进程连结稳定，而估量的相机姿势和天下坐标是在相机移动时代从捕捉的RGB-D帧立即计较得出的。

相机驱动的场景图：

为了过滤掉无效的相机位置，将一切舆图通道初始化为二进制可穿越舆图，其中可穿越位置和障碍位置别离用0和−1添补，而且只更新可穿越位置的值。

天下驱动的场景图：

当宿天下坐标估量指示利用所估量的相机姿势从当前RGB-D帧反向投影的天下坐标位于场景点云上的何处，是以被计较为描写每个场景点能否被最少一个反向投影天下坐标占据的逐点二进制值。

相机不肯定性份量：相机不肯定性是相机固有的特征，它暗示相机活动时代当前相机姿势估量的质量。相机不肯定性模块回答“何时停止”题目，从而肯定自动相机活动的自顺应停止条件。理想情况下，相机不肯定度值应经过间接将估量的相机姿势与实在相机姿势停止比力来计较，但是在相机自动活动时代，实在相机姿势是不存在的。为了减缓上述困难，经过将暗示实在相机姿势的捕捉深度观察和从3D场景模子Dscene投影的深度图像（其暗示估量的相机姿势）停止比力来计较相机不肯定性值。给定观察到的深度和投影的深度图像，首先利用已知的相机固有参数将两个图像反向投影到相机空间中的点云中。然后操纵ICP来配准两个点云，并估量它们之间的相对相机姿势，当两个点云大致对齐时，采用的ICP方式可以实现很是慎密的点云对齐，是以估量的相对姿势指示当前相机姿势估量间隔实在姿势有多远，并被视为相机不肯定性份量

为了简化战略进修，很多之前的工作都牢固了相机移动的插值长度，这在实施中效力很低。在本论文中提出了基于所提出的相机不肯定性份量自顺应地停止相机活动。具体而言，以为当相机不肯定度份量在

范围内时，可以成功定位以停止相机移动为了证实相机不肯定性份量的有用性，评价了估量的相对姿势与实在姿势的接近水平，图3包括了一个室内场景中随机收集的4500个样本。可以观察到大大都样本位于对角线上，这意味着相对姿势估量凡是是正确的

尝试：

在分解和扫描的实在室内场景上评价了算法。为了减缓在分解数据中建立常见定位应战的困难，收集了35个均匀面积为40.9平方米的高质量室内场景，这些场景具有无纹理的墙壁、反复的枕头/图纸等，并供给了场景的练习/测试朋分（练习/测试：15/20个场景）。对于扫描的实在天下数据，从公共Matterpt3D数据集合收集了5个均匀面积为64.8m2的室内场景，仅供评价。在ACL-synthetic中无移动基线的正确率14.90%，表白被动定位在具有应战性的定位场景中是不够的，论文算法在相机姿势精度（83.05%）方面优于一切方式

定性成果：

总结：

提出了一种新的自动相机定位算法，由被动和自动定位模块组成。前者在持续姿势空间中估量切确的相机姿势。后者从显式建模的相机和场景不肯定性中进修强化进修战略以实现正确的相机定位。

更多干货

接待加入【3D视觉工坊】交换群，为3D范畴进献自己的气力！接待大师一路交换长大~ 增加小助手微信：dddvisiona，备注黉舍/公司+姓名+研讨偏向即可加入工坊一路进修进步。

1.面向自动驾驶范畴的3D点云方针检测全栈进修线路！(单模态+多模态/数据+代码)

2.完全搞透视觉三维重建：道理分解、代码讲授、及优化改良

3.国内首个面向产业级实战的点云处置课程

4.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲授

5.完全搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦

6.完全搞懂基于LOAM框架的3D激光SLAM: 源码分解到算法优化

7.完全分解室内、室外激光SLAM关键算法道理、代码和实战(cartographer+LOAM +LIO-SAM)

8.从零搭建一套结构光3D重建系统[理论+源码+理论]

9.单目深度估量方式：算法梳理与代码实现

10.自动驾驶中的深度进修模子摆设实战

11.相机模子与标定(单目+双目+鱼眼）

12.重磅！四旋翼飞翔器：算法与实战

13.ROS2从入门到精通：理论与实战

14.国内首个3D缺点检测教程：理论、源码与实战