一文读懂自动驾驶的激光雷达与视觉交融感知

首页> 产品知识>一文读懂自动驾驶的激光雷达与视觉交融感知

物公基资讯

一文读懂自动驾驶的激光雷达与视觉交融感知

2022年是智能驾驶由L2向L3/L4逾越的窗口期，越来越多的汽车厂商开端规划更高级别的智能驾驶量产，汽车智能化时期已悄但是至。

随着激光雷达硬件的技术提升，车规级量产和本钱下行，高级别智能驾驶功用促进了激光雷达在乘用车范畴的量产上车，多款搭载激光雷达的车型将在今年托付，2022年也被称为“激光雷达上车元年”。

激光雷达传感器vs图像传感器

激光雷达是一种用于精准获取物体三维位置的传感器，实质上是激光探测和测距。凭仗在目的轮廓丈量、通用障碍物检出等方面所具有的极佳性能，正在成为L4自动驾驶的中心配置。

但是，激光雷达的测距范围（普通在200米左右，不同厂商的量产型号指标各异）招致感知范围远小于图像传感器。

又由于其角分辨率（普通为0.1°或0.2°）比拟小，招致点云的分辨率远小于图像传感器，在远间隔感知时，投射到目的物上的点可能及其稠密，以至无法成像。关于点云目的检测来说，算法真正能用的点云有效间隔大约只要100米左右。

图像传感器能以高帧率、高分辨率获取四周复杂信息，且价钱廉价，能够部署多个不同FOV和分辨率的传感器，用于不同间隔和范围的视觉感知，分辨率能够到达2K-4K。

但图像传感器是一种被动式传感器，深度感知缺乏，测距精度差，特别是在恶劣环境下完成感知任务的难度会大幅提升。

在面对强光、夜晚低照度、雨雪雾等天气和光线环境，智能驾驶对传感器的算法请求很高。激光雷达固然对环境光线影响不敏感，但关于积水路面、玻璃墙面等，测距将收到很大影响。

能够看出，激光雷达和图像传感器各有优劣。大多数高级别智能驾驶乘用车选择将不同传感器停止交融运用，优势互补、冗余交融。

这样的交融感知计划也成为了高级别自动驾驶的关键技术之一。

基于深度学习的点云和图像交融感知

点云和图像的交融属于多传感器交融（Multi-Sensor Fusion,MSF）的技术范畴，有传统的随机办法和深度学习办法，依照交融系统中信息处置的笼统水平，主要分为三个层次：

数据层交融（Early Fusion）

首先将传感器的观测数据交融，然后从交融的数据中提取特征停止辨认。在3D目的检测中，PointPainting（CVPR20）采用这种方式，PointPainting办法先是对图像做语义分割，并将分割后的特征经过点到图像像素的矩阵映射到点云上，然后将这个“绘制点”的点云送到3D点云的检测器对目的Box停止回归。

特征层交融（Deep Fusion）

先从每种传感器提供的观测数据中提取各自然数据特征，对这些特征交融后停止辨认。在基于深度学习的交融办法中，这种方式对点云和图像分支都各自采用特征提取器，对图像分支和点云分支的网络在前反应的层次中逐语义级别交融，做到多尺度信息的语义交融。

基于深度学习的特征层交融办法，关于多个传感器之间的时空同步请求很高，一旦同步不好，直接影响特征交融的效果。同时，由于尺度和视角的差别，LiDAR和图像的特征交融很难到达1+1>2的效果。

决策层交融（Late Fusion）
相对前两种来说，是复杂度最低的一种交融方式。不在数据层或特征层交融，是一种目的级别的交融，不同传感器网络构造互不影响，能够独立锻炼和组合。
由于决策层交融的两类传感器和检测器互相独立，一旦某传感器发作毛病，仍可停止传感器冗余处置，工程上鲁棒性更好。

随着激光雷达与视觉交融感知技术的不时迭代，以及不时积聚的学问场景与案例，会呈现越来越多的全栈交融计算处理计划为自动驾驶带来愈加平安与牢靠的将来。

转载自网络，文中观点仅供分享交流，不代表本公众号立场，如涉及版权等问题，请您告知，我们将及时处理。

来源：智驾最前沿

物公基资讯

一文读懂自动驾驶的激光雷达与视觉交融感知

更多文章

联系我们