CamVox：一种低成本、高精度的激光雷达辅助视觉SLAM系统_小言_互联网的博客

CamVox：一种低成本、高精度的激光雷达辅助视觉SLAM系统

2021-01-20 16:41 401人阅读评论(0)

标题：VCamVox: A Low-cost and Accurate Lidar-assisted Visual SLAM System

作者：Yuewen Zhu, Chunran Zheng, Chongjian Yuan, Xu Huang and Xiaoping Hong

来源：分享者

代码：https://github.com/ISEE-Technology/CamVox

本文仅做学术分享，如有侵权，请联系删除。欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈分享快乐。

论文阅读模块将分享点云处理，SLAM，三维视觉，高精地图相关的文章。公众号致力于理解三维视觉领域相关内容的干货分享，欢迎各位加入我，我们一起每天一篇文章阅读，开启分享之旅,有兴趣的可联系微信dianyunpcl@163.com。

●论文摘要

基于相机和激光雷达融合（SLAM）技术，是一种提高整体定位精度的有效方法，尤其是在大范围的室外场景下。低成本激光雷达（如Livox lidar）的最新发展使我们能够探索低成本、高性能的SLAM系统。本文通过分析Livox激光雷达的特点，将Livox激光雷达应用到视觉SLAM（ORBSLAM2）中，提出了CamVox。基于Livox激光雷达的非重复性，提出了一种适用于非受控场景的激光雷达相机自动标定方法。长距离探测范围也有利于更有效的SLAM系统。在同一个数据集上比较了CamVox与visual SLAM（VINS mono）和lidar SLAM（LOAM）的性能。

开源代码：https://github.com/ISEE-Technology/CamVox

● 内容精华

主要贡献

本文提出了第一个Livox激光雷达辅助视觉系统（CamVox）具有优越的实时性能。我们的CamVox SLAM基于最先进的ORB-SLAM，采用Livox激光雷达作为深度传感器，具有以下新特点：

1）预处理步骤融合激光雷达和摄像头输入。通过精确的时间同步，将非重复扫描的激光雷达点中的畸变由IMU数据校正并转换为相机帧。

2）提出的大比例尺、高精度、高精度的激光SLAM系统，可以在大比例尺的室外环境下进行高精度的点云测绘。

3）我们利用Livox激光雷达的非重复扫描特性，在不受控制的场景下进行摄像机和激光雷达之间的自动校准。

4） CamVox的性能是根据一些主流框架进行评估的，并且显示了非常精确的轨迹结果。并公开了这项工作的硬件、代码和数据集，希望提供一个现成的CamVox（Camera+Livox lidar）SLAM解决方案。

黑色虚线是groundtruth的轨迹，蓝色、绿色、红色实线分别是Loam_Horizon、VINS和Camvox SLAM帧下的轨迹。（a）（b）（c）1:2000图1。CamVox性能示例。（a）机器人从CamVox的轨迹；（b）来自CamVox的密集RGBD地图；（c）放大和旋转的部分（b）显示高质量的点云

主要内容

该CamVox方案是基于ORB-SLAM2（RGBD模型），采用单独的RGBD输入预处理和非受控场景下的自动标定方法。该框架利用激光雷达辅助的视觉关键帧来生成局部构图，并且由于在不同级别的捆集调整（BA）和ORBSLAM2的回环闭合进行了后端轻量级位姿图优化，因此具有很高的鲁棒性。在原始ORB-SLAM2中，关键点分为近点和远点两类，其中近点是深度上具有高度确定性的点，可用于缩放、平移和旋转估计，而远点仅用于旋转估计，因此信息量较少。与传统的激光测距仪相比，激光测距仪可以获得更精确的距离。因此，相机（用于大范围探测和跟踪的高角度分辨率）和激光雷达（远距离和精确深度测量）的优点可以以紧密耦合的方式加以利用。

（a）机器人平台。CamVox硬件安装在这个机器人的顶部。另外还安装了一个RGBD摄像机用于比较。（b） CamVox硬件特写，包括摄像机、Livox Horizon和IMU。附加GPS/RTK用于地面真值估计。（c-d）从激光雷达点云获取的RGB图像和深度图像的示例。

CamVox SLAM流程。除了ORB-SLAM2主线程外，还使用RGBD输入预处理线程将lidar和相机数据转换为RGBD格式，并可自动/手动触发自动校准线程以进行相机和激光雷达外参校准。

预处理

预处理线程从激光雷达中提取原始点，经惯性测量单元（IMU）进行校正，并根据摄像机的外参标定将其投影到深度图像中。

用IMU校正运动失真的例子。（a）角落场景的RGB图像；（b）机器人移动时扫描时的原始点云；（c）对IMU数据处理后的点云进行畸变校正。

（a） RGB摄像机，（b） Realsense D435和（c） CamVox RGBD输出。蓝色矩形显示了椰子树叶在这三张图片中的位置。很明显，典型的RGBD相机在探测距离和抗太阳光噪声方面比CamVox RGBD差得多

自校准

由于激光雷达的远程测距能力，校准精度在CamVox中至关重要。一个小的角度失配可能导致大深度的绝对偏差。控制校准目标（如棋盘）在现场并不总是可用的，需要在不受控制的场景中开发一种自动校准方法，并在发现更好的校准匹配时更新参数。由于Livox激光雷达的非重复性，只要我们能够积累几秒钟的扫描点，深度图像的分辨率就可以和相机图像一样高，并且与相机图像的对应关系变得很容易找到。因此，我们能够在几乎所有的野外场景中根据场景信息自动进行标定。当检测到机器人处于静止状态时，设置自动校准触发，以消除运动模糊。

利用反射率和深度值，通过初始外部参数将密集点云投影到成像平面上，然后进行轮廓提取以与摄像机图像轮廓进行比较。cost函数由改进的ICP算法构造，并可通过Ceres进行优化，以获得相对更精确的外部校准参数。

校准流程实例。相机和激光雷达采集的数据（保持静止并积累数秒）通过初始校准参数进行处理，形成三幅图像（灰度、反射率和深度，后两幅来自激光雷达）。对从这些图像检测到的边缘进行校准，直到获得满意的参数。

● 实验

在校准后RGB相机和点云叠加的示例。（a）未校准。（b）自动校准。（c）最好的手动校准。自动校准算法在各种场景，（d）有天然树木和草地的室外道路，（e）室外人工结构，（f）室内的部分结构

CamVox、两种主流SLAM框架和ground truth的轨迹比较如下图：

关键点阈值的评估。（a-d）通过选择不同的关键点阈值来重建点云地图。（e）匹配点的数目作为帧序列的函数（10帧/秒）。（f）匹配点的数目作为关键点阈值的函数，在SLAM过程的开始（第5帧）评估。

livox horizon loam,、VINS mono和CamVox的轨迹

不同方案的绝对位姿误差对比

不同方案在同一硬件平台上的耗时对比

● 总结

综上所述，我们提出CamVox作为一种新的低成本lidar辅助视觉SLAM框架，旨在将两者的优点结合起来，即相机的最佳角度分辨率和激光雷达的最佳深度和距离。利用Livox激光雷达独特的工作原理，开发了一种能够在非受控场景下进行自动标定的算法。在自动标定精度、关键点分类深度阈值和轨迹比较等方面对新框架进行了评估，并且它还可以在机载计算机上实时运行。

资源

三维点云论文及相关应用分享

【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法

3D目标检测：MV3D-Net

三维点云分割综述（上）

3D-MiniNet: 从点云中学习2D表示以实现快速有效的3D LIDAR语义分割（2020）

win下使用QT添加VTK插件实现点云可视化GUI

JSNet：3D点云的联合实例和语义分割

大场景三维点云的语义分割综述

PCL中outofcore模块---基于核外八叉树的大规模点云的显示

基于局部凹凸性进行目标分割

基于三维卷积神经网络的点云标记