地平线Sparse4D论文解析（含论文原文）

0. 摘要

在自动驾驶感知系统中，3D 检测和跟踪是两个基本任务。本文深入研究了这一领域，并在 Sparse4D 框架的基础上进行了扩展。我们引入了两个辅助训练任务（时间实例去噪和质量估计），并提出了解耦注意力机制，以进行结构性改进，从而显著提升了检测性能。此外，我们通过在推理过程中分配实例 ID 的简单方法，将检测器扩展为跟踪器，进一步突出基于查询的算法的优势。在 nuScenes 基准测试上的广泛实验验证了所提出改进的有效性。以 ResNet50 作为骨干网络，我们在 mAP、NDS 和 AMOTA 上分别提升了 3.0%、2.2% 和 7.6%，达到了 46.9%、56.1% 和 49.0%。我们的最佳模型在 nuScenes 测试集上取得了 71.9% 的 NDS 和 67.7% 的 AMOTA。
代码将发布在 github工程链接。
论文免费下载链接

1. 前言

在时序多视角感知研究领域，基于稀疏的算法取得了显著进展 ，其感知性能已达到与基于密集 BEV 的算法相当的水平，同时提供了几个优势：
1) 自由视角转换。这些稀疏方法无需将图像空间转换为 3D 向量空间。
2) 检测头的计算负载恒定，与感知距离和图像分辨率无关。
3) 更容易通过端到端的方式实现下游任务的集成。

在本文研究中，我们选择了基于稀疏的算法 Sparse4Dv2 作为我们改进的基准。该算法的整体结构如图 1 所示。图像编码器将多视角图像转换为多尺度特征图，而解码器模块则利用这些图像特征来优化实例并生成感知结果。