ADAS auf neuem Niveau: Nutzung der frühen Fusion für eine verbesserte Nachterkennung

Fusionstechniken

Bei der Fusion der Sensordatenströme von mehreren Sensoren und unterschiedlichen Sensormodalitäten besteht das Ziel darin, eine bessere Systemleistung zu erzielen als bei separater Verwendung von Sensoren. Dies gilt nicht nur für die Detektionsgenauigkeit und -zuverlässigkeit, sondern auch für den Rechendurchsatz. Fusionstechniken haben sich mit der Einführung von Machine Learning und KI-Tools aus dem klassischen Ansatz entwickelt. Die folgenden Techniken, die in diesem Text besprochen werden, sind für ADAS von besonderem Interesse:

• Späte Fusion
  Dabei handelt es sich um den klassischen Ansatz, bei dem die Fusion erst später in der Datenverarbeitungskette eines Sensorsystems stattfindet. Dies wird oft als High-Level-Fusion bezeichnet, was im Wesentlichen dasselbe bedeutet.
  
  Die einzelnen Sensoren verarbeiten Daten in höherem Maße, bevor die Fusion stattfindet, typischerweise an dem Punkt, an dem die Wahrnehmungsalgorithmen etwas als Objekt klassifiziert haben. Diese Objekte werden in verschiedene semantische Klassen (z.B. Auto, Fußgänger, Radfahrer) eingeteilt, die für eine Verkehrsumgebung relevant sind. Dann werden die Objekte mit ihren abgeleiteten Attributen (z.B. Position, Orientierung, Geschwindigkeit) an den Fusionsalgorithmus übergeben.
  
  Die Informationen können dann in einem Tracking-Algorithmus verwendet werden, bei dem das System eine Pfadvorhersage berechnet, die beispielsweise in Kollisionsvermeidungsfunktionen wie der autonomen Notbremsung (AEB) verwendet wird.
  
  Der Vorteil eines Systems, das späte Fusion verwendet, besteht darin, dass man der Ausgabe vertrauen kann, wenn beide Quellen Informationen über ein Objekt liefern, was zu einer hohen Zuverlässigkeit des Systems führt. Der Nachteil besteht darin, dass jede Sensormodalität Daten liefern muss und unter schwierigen Bedingungen, z. B. wenn eine Kamera Sonnenblendung ausgesetzt ist, manchmal nicht genügend Signal vorhanden ist, um eine Erkennung durchzuführen.
  
  Diese Technik passt gut zu einer ADAS-Architektur, die aus intelligenten Sensoren besteht, in denen die Entscheidungsfindung dezentralisiert ist.

• Frühe Fusion
  Für die frühe Fusion gibt es zwei Varianten, die wir in Betracht ziehen. Eine ist die Mid-Level-Fusion, bei der ein Sensor Objektdaten und ein anderer Daten aus früheren Schritten in der Verarbeitungskette liefert (in der Regel Pixel von einem Imager oder Erkennungen von einem Radar).
  
  Die andere ist die Low-Level-Fusion, bei der alle Sensoren Daten aus den ersten Schritten liefern und der Fusionsprozess auch die Objektklassifizierung durchführt. Der Vorteil der frühen Fusion besteht darin, dass nicht jeder Sensor das Objekt für sich selbst klassifizieren muss. In der Praxis bedeutet dies, dass das Sensorsystem in einigen Fällen, in denen es schwierige Bedingungen gibt, weniger sichere Informationen aus jeder Sensormodalität zu einer zuverlässigen Detektion kombinieren kann.
  
  Dieser Ansatz ist jetzt mit einer zentralisierten Architektur interessanter geworden, bei der Sensoren Daten mit hoher Dichte über eine Verbindung mit hoher Bandbreite an eine zentrale Recheneinheit weiterleiten können (ohne Daten in Objekten zu verarbeiten). Insgesamt kann dies zu einem effizienteren Wahrnehmungssystem führen, und die Entwicklung wurde durch Verbesserungen bei SOCs und KI-Tools ermöglicht.

Schutz von Fußgängern durch frühe Fusion von Wärmebild- und Bildgebungsradar

Um das Potenzial der frühen Fusion in Verbindung mit ADAS zu verstehen, betrachten wir die Notwendigkeit, Fußgängerunfälle in der Dunkelheit zu vermeiden. In den USA ist die Zahl der nächtlichen Fußgängerunfälle in den letzten 15 Jahren gestiegen, wobei fast der gesamte Anstieg auf städtische Ausfallstraßen zurückzuführen ist – wo sich laut einem AAA-Bericht 76 % der tödlichen Unfälle nach Einbruch der Dunkelheit ereignen. Aktuelle Kameratechnologie, die im sichtbaren Lichtspektrum arbeitet, hat bei schlechten Lichtverhältnissen zu kämpfen und das Risiko für falsch-positive Ergebnisse steigt, wenn die Empfindlichkeit erhöht wird.

Magna erforscht die frühe Fusion von Wärmebild- und bildgebenden Radarsensoren als robuste, kostengünstige Alternative mit hoher Verfügbarkeit. Wärmesensoren erkennen Fußgänger anhand von Wärmesignaturen, während bildgebendes Radar detaillierte räumliche Schätzungen liefert. Die Kombination von Rohdaten beider Sensoren ermöglicht eine Echtzeit-Objektbewertung im Dunkeln.

Die frühzeitige Fusion von Wärme- und Bildradar kann die Sicherheit von Fußgängern verbessern und Kosten- und Skalierbarkeitsvorteile bieten. Für die Marktakzeptanz gibt es jedoch nach wie vor Herausforderungen. Die Industrie muss diese Technologie wertschätzen, wenn es um Verfügbarkeit und Zuverlässigkeit geht. Systemlösungen mit Wärmebild- und bildgebendem Radar erfordern hohe Produktionsmengen und Marktakzeptanz, um die Kosteneffizienz zu unterstützen.

Angesichts der Entwicklung der ADAS-Technologien und der bevorstehenden Sicherheitsvorschriften ist die Branche bereit, diese Hindernisse zu überwinden. Die ADAS-Fusion wird sich wahrscheinlich schnell weiterentwickeln und die Sicherheit und Effizienz von Mobilitätslösungen erhöhen.

*Dieses Dokument wurde mit Microsoft Translator übersetzt.