近日,德国专业汽车行业杂志HANSERautomotive就浪潮信息算法团队在自动驾驶领域所取得的核心突破,进行专题署名文章报道“Wahrnehmungssysteme und 3D-Objekterkennung Alles im Blick”(《感知系统和三维物体识别,一切尽收眼底》)。针对AI感知技术对于自动驾驶产业化落地的变革式意义,《HANSERautomotive》文章指出,“3D目标检测作为自动驾驶领域至关重要的核心任务,面向强大的环境感知,先进的AI算法及融合架构感知技术,为实现高鲁棒、高精度的目标检测提供了至关重要的信息输入,平台算力和感知算法的效率提升与创新突破,也成为了车企发展自动驾驶能力的关键技术。”

目前,在全球权威的自动驾驶nuScenes竞赛最新评测中,浪潮信息算法团队所提交的“IEI-BEVFusion++”算法模型在关键性指标nuScenes Detection Score(NDS)得到77.6%的高分,创造了3D目标检测全赛道迄今最高成绩。

(资料图片)

【HANSERautomotive作为德国Top级汽车电子行业媒体,旨在持续赋能汽车电子开发、项目、应用和测试领域的工程师,为全球汽车领域的行业高管与最重要的利益相关者,提供产品、系统、趋势和时事,在电信/数据通信、消费和工业等行业领域做出更好的决策。】

●附《HANSERautomotive》详细报道(原文译释):

自动驾驶将从头开始改变移动行业,是汽车制造商和人工智能公司关注的重点领域。自动驾驶技术的核心是基于算法的 3D 物体识别,它被认为是自动驾驶汽车环境感知的核心。至关重要的是,车辆使用各种传感器来估计其环境中人、车辆和物体在三维空间中的距离。以下文章解释了不同传感器的工作原理以及它们之间的交互方式。

自动驾驶核心感知任务——3D目标检测

从自动驾驶分类来看,目前的自动驾驶技术有两大类。一种是以直接达到Level 4(高度驾驶自动化)为目标的激进派,另一种是从Level 2(辅助驾驶)逐步提升自动驾驶等级的渐进派。但无论是Level 2还是Level 4,从整体架构来看,大致可以分为感知、决策和控制三个部分。感知是自动驾驶汽车的眼睛,犹如人类的眼睛为大脑提供 70% 以上的信息类似,感知系统也为自动驾驶汽车的外部环境提供信息。自动驾驶的感知依赖于各种传感器的信息,包括摄像头、雷达、激光雷达等,其中最核心的就是相机和激光雷达。

自动驾驶面对的是一个3维的环境空间,甚至我们可以这么说,因为自动驾驶车辆要在环境空间中移动,且环境空间中其他的行人、车辆也会移动,可见自动驾驶面临的是一个4D时空系统(3D空间+1D时间)。自动驾驶汽车需要在三维空间中判断周围人、车、物之间的距离。在此基础上,还需要判断它们是静态的还是动态的,以及移动的方向和速度等信息,我们一般称之为3D目标检测任务。 3D物体检测任务可以看作是自动驾驶中的最核心感知任务。当然,除此之外,其他感知任务还包括识别红绿灯、交通标志、车道、斑马线等道路信息。

(图注:3D 目标检测图。 3D目标定义为一个盒子,(x,y,z)为盒子的中心坐标,(l,w,h)为长宽高,θ为航向角。 Class 是 3D 目标的类别。 Vx 和 vy 描述了地面上 3D 目标沿 x 和 y 轴的速度。)

传感器:激光雷达

长期以来,激光雷达一直被认为是自动驾驶汽车不可或缺的部件之一,因为激光雷达可以提供车辆周围环境最准确的3D感知。激光雷达采集到的点云信息天然就存储着3D空间信息,因此对于基于点云信息的3D目标检测来说,算法设计就简单很多,也诞生了一系列的经典模型,如PointPillar、SECOND、SSSD等。然而,激光雷达的成本也成为了自动驾驶落地的最大瓶颈,激光雷达比汽车贵的问题,成为其上车和量产的最大障碍。虽然这些年激光雷达的价格随着技术的进步有了明显的下降,但是能够满足L4需求的激光雷达的价格还是偏高。

传感器:相机

摄像头是自动驾驶汽车的另一个非常重要的传感器。由于激光雷达采集的点云信息没有颜色和纹理,无法识别红绿灯、交通标志、车道、斑马线等人类容易识别的道路信息。因此,仍然需要摄像头作为辅助传感器。但是,这会导致多模态的信息融合问题。简而言之,激光雷达主要擅长对车辆和行人的3D信息的感知,而摄像头擅长于对红绿灯、车道线等具有丰富视觉纹理特征的信息的感知。此外,相机在量产成本和价格方面也具有无可比拟的优势。例如,特斯拉搭载的单个单目摄像头成本仅为25美元,整车8个摄像头的价格仅为200美元。仅使用相机传感器,借助强大的人工智能算法, 可以实现精确的3D物体检测任务,这意味着不使用激光雷达传感器的自动驾驶成为可能。

基于图像的3D目标检测算法

在计算机视觉领域,近年来涌现了大量的分类、检测、分割模型,如ResNet、YOLO、Mask RCNN等,这些AI模型已广泛应用于安防、交通、和自动驾驶。然而,核心问题之一是这些模型是为 2D 图像设计的,不能直接应用于 3D 对象检测任务。基于图像的3D物体检测的核心问题是如何准确估计图像中物体的深度。由于相机拍摄的照片和视频将3D空间投影到2D平面,丢失了深度信息,如何恢复深度信息是一个“病态问题”。也就是说,问题的解决方案可能不是唯一的。因此,长期以来,基于图像的3D目标检测算法的性能一直远低于基于激光雷达的3D目标检测算法。

自从特斯拉仅使用摄像头的FSD驾驶系统取得了一定的成功后,基于视觉的自动驾驶感知方案就越来越受到业界的关注。同时,随着数据、算法、算力等方面的进步,纯视觉自动驾驶感知方案在3D目标检测任务中的性能较去年的激光雷达有明显提升。

NuScenes 数据集

自动驾驶数据集的出现时间更长,传感器更多,采集时间更长。 NuScenes 数据集由 Motive 于 2019 年开发并发布,采集于波士顿和新加坡街头。为了获取有意义的场景数据,我们收集了大约 15 小时的驾驶数据,并精心选择了涵盖不同场景的驾驶路线。采集车搭载传感器,包括6个摄像头、1个激光雷达、5个毫米波雷达、GPS、IMU,具有360°视场感知。

(图注:安装在 NuScenes 数据集采集车上的传感器放置位置图。它配备了6个摄像头、1个激光雷达和5个毫米波雷达。)

NuScenes 数据集提供了几个评估任务,包括 3D 对象检测、3D 对象跟踪、预测轨迹、激光雷达分割、全景分割和跟踪。 3D 物体检测任务的目标是检测 NuScenes 数据集中的 10 种不同类型的检测物体,包括汽车、卡车、自行车和行人。检测信息除了物体的三维位置外,还包括物体的大小、方向和速度。 NuScenes提出了一个综合的NDS指标,即NuScenes Detection Score(NDS),它由平均准确度(mAP)、平均平移误差(ATE)、平均尺度误差(ASE)、平均方向误差(AOE)、平均速度误差组成(AVE) 和平均属性误差 (AAE)。

(图注:NuScenes 数据集中六个摄像头采集的图像示意图。)

除了NuScenes,业界还有Waymo、ONCE等开源数据集。然而,NuScenes 是目前使用最多的数据集。自发布以来,NuScenes 数据集已被 2000 多篇研究论文引用。 NuScenes Challenge也成为测试感知算法在自动驾驶相关任务中表现的试金石。它吸引了来自世界各地的研究团队提交的 220 多份论文。近期,PhiGent Robotics、纵目科技、ECARX等车企的研发团队也出现在了NuScenes的名单中。

‘

NuScenes提供了一个常年更新的榜单,目前一共有50余次提交,其中大多数的提交发生在2022年。目前全榜单排名第一的则是浪潮信息算法团队所提交的“IEI-BEVFusion++”算法模型,关键性指标nuScenes Detection Score(NDS)0.776的高分,创造了3D目标检测全赛道迄今最高成绩。

另外,在纯视觉赛道,算法团队在2022年所提交的“DABNet4D”模型,综合检测精度NDS 0.624的检测效果也一举登顶届时该赛道的榜首。相比之下,2022年初排名第一的BEV3D算法的NDS精度是0.474,也就是说在不到一年的时间内,NuScenes 纯视觉3D目标检测的NDS指标提升了15个点。基于纯视觉算法和激光雷达算法的精度差距也从年初的45%缩小到17%,而这些,均得益于纯视觉3D检测算法优化带来的性能提升。

展望未来

在自动驾驶落地的产业化进程中,感知技术作为自动驾驶的核心技术模块,既是起点也是基石。而未来,面向自动驾驶感知算法的研发,也将会投入更为强大的人工智能计算平台予以支撑。从NuScenes榜单技术的快速迭代来看,我们有理由相信,随着算力、算法的持续型突破,自动驾驶产业化落地进程也将多一层“腾飞动力之源”。

关键词：