ADAS进阶：采用早期融合技术，提升夜间检测性能

融合技术

融合多传感器、多感知模态的传感器数据流，旨在实现比单独使用各传感器更优的系统性能。这不仅体现在检测精度和可靠性上，还包括计算吞吐量。随着机器学习和人工智能工具的引入，融合技术已从传统方法逐步演进。本文将重点介绍两种对 ADAS 具有重要意义的融合技术：

• 后期融合（Late Fusion）
  这是传统融合方法，融合过程发生在传感器系统数据处理链的后期，通常也被称为 “高级别融合”，二者本质含义相同。
  
  在融合前，各传感器会对数据进行深度处理，处理节点通常是感知算法将目标归类为 “物体” 的阶段。这些物体将被划分到与交通场景相关的不同语义类（如汽车、行人、骑行者）。随后，带有衍生属性（如位置、朝向、速度）的物体数据会被传输至融合算法。
  
  这些信息可用于跟踪算法，系统通过跟踪算法计算路径预测，可用于自动紧急制动 （AEB） 等防撞功能。
  
  采用晚期融合的系统优势在于，当两个数据源均提供某一物体的信息时，输出结果的可信度更高，从而确保系统具备高可靠性。但其不足在于，每种传感器模态都需单独提供数据，而在有挑战性的工况下（如摄像头遭遇强光直射），有时会因信号不足无法完成检测。
  
  该技术非常适合由智能传感器组成的 ADAS 架构，此类架构的决策过程呈分散式。

• 早期融合（Early Fusion）
  对于早期融合，我们考虑了两种变体。一种是 “中级别融合”—— 其中一个传感器提供物体数据，另一个传感器提供处理链前期步骤生成的数据（通常是成像器的像素数据或雷达的检测数据）。
  
  另一种是 “低级别融合”—— 所有传感器均提供处理链前期步骤生成的数据，且融合过程同时完成物体分类。早期融合的优势在于，无需每个传感器单独完成物体分类。在实际应用中，这意味着即使传感器系统处于复杂工况，也能将各感知模态的 “不确定性信息” 整合为可靠的检测结果。
  
  随着集中式架构的发展，早期融合如今已更具应用价值：在集中式架构中，传感器可通过高带宽连接，将高密度数据传输至中央计算单元（无需将数据处理为物体信息）。总体而言，这种方式能打造更高效的感知系统，而系统级芯片（ SOCs ）和 AI 工具的性能提升，为该技术的发展提供了支撑。

热成像与成像雷达早期融合：保障行人安全

要理解早期融合对 ADAS 的潜在价值，可从“解决夜间行人事故问题”切入。美国汽车协会报告显示：过去 15 年间，美国夜间行人死亡事故数量持续上升，且增长几乎全部来自城市主干道 —— 夜间发生的致命事故占比高达 76%。当前基于可见光光谱的摄像头技术，在弱光环境下性能受限；且若提高灵敏度，又会增加误检风险。

麦格纳正将“热成像传感器与成像雷达的早期融合”作为一种可靠、高性价比的替代方案进行研发，该方案具备高可用性：热成像传感器通过热信号检测行人，成像雷达则提供精细的空间定位信息；二者原始数据融合后，可实现黑暗环境下的实时物体评估。

热成像与成像雷达的早期融合，既能提升行人安全，又能带来成本与可扩展性优势。但该技术的市场接受度仍面临挑战：行业需认可其在“可用性”与“可靠性”上的价值；同时，热成像与成像雷达的系统解决方案需通过高产量与市场普及，才能实现成本效益。

随着 ADAS 技术的演进及新安全法规的出台，行业已具备克服这些障碍的条件。ADAS 融合技术有望快速发展，进一步提升出行方案的安全性与效率。

*本文档是使用 Microsoft Translator 翻译的。