Die Entwicklung automobiler Wahrnehmungssysteme ist ein komplexer Prozess, der umfangreiche Daten erfordert, um sie adäquat zu trainieren. rFpro sprach mit Martin Punke, Leiter der Kamerasensorik bei Continental, über die Rolle der Simulation bei der Entwicklung von Sensor-Hardware und ihre Auswirkungen auf das Training von Computer-Vision-Algorithmen für ADAS und automatisiertes Fahren.
rFrpo: Können Sie uns zunächst ein wenig über Ihre Rolle bei Continental erzählen?
MP: Mein Team ist für die Kamerahardware zuständig, insbesondere für die Optoelektronik. Wir kümmern uns um die Auswahl der Objektive, die Auswahl der Bildsensoren und die allgemeine Prüfung und Abstimmung der Bildqualität. Ein wichtiger Teil unserer Arbeit ist die Sensormodellierung. Wir versuchen, das optoelektronische Verhalten unserer Kameras so genau wie möglich in Simulationsumgebungen nachzubilden.
rFpro: Was sind die größten Herausforderungen bei der Entwicklung von Kamerahardware für Wahrnehmungssysteme?
MP: Eine der größten Herausforderungen besteht darin, zu bestimmen, wie gut die Hardware sein muss, um die Systemanforderungen zu erfüllen. Wenn ein Fahrzeug beispielsweise ein Verkehrsschild aus 200 Metern Entfernung erkennen muss, müssen wir die erforderliche Bildauflösung und optische Leistung festlegen. Diese Herausforderung wird durch die zunehmende Komplexität der Bildverarbeitungsalgorithmen und neuronalen Netze noch verschärft, so dass es schwierig ist, genaue Hardwarespezifikationen ohne umfangreiche Validierung zu bestimmen.
Eine weitere große Herausforderung sind die Kosten. Die Industrie sucht immer nach Möglichkeiten, die Hardware zu optimieren, die Kosten zu senken und gleichzeitig die Leistungskriterien zu erfüllen. Wir müssen auch die Variabilität in der realen Welt berücksichtigen, um sicherzustellen, dass das System bei unterschiedlichen Lichtverhältnissen und Wetterbedingungen zuverlässig funktioniert.
rFpro: Wie hilft die Simulation bei der Lösung dieser Herausforderungen?
MP: Traditionell wird die Kameraleistung bewertet, indem die Hardware physisch gebaut und in realen Szenarien getestet wird. Dieser Ansatz ist jedoch kostspielig und zeitaufwändig. Mit der Simulation können wir die Leistung vorhersagen, bevor die Hardware gebaut wird, was uns hilft, unsere Entwürfe in einem früheren Stadium des Entwicklungsprozesses zu verfeinern.
Darüber hinaus haben Tests in der realen Welt ihre Grenzen. Einige kritische Szenarien, wie z. B. die Notbremsung eines Fußgängers, lassen sich nur schwer oder gar nicht in einer realen Umgebung testen. Die Simulation ermöglicht es uns, diese Grenzfälle unter kontrollierten Bedingungen zu erstellen und zu testen, um sicherzustellen, dass unsere Systeme sie zuverlässig bewältigen können.
rFpro: Welche Rolle spielt die Sensormodellierung bei der Verbesserung von Wahrnehmungssystemen?
MP: Die Sensormodellierung ist von entscheidender Bedeutung, denn sie ermöglicht es uns, das reale Verhalten unserer Kameras in einer virtuellen Umgebung nachzubilden. Wir erstellen detaillierte Modelle unserer Kamerahardware, einschließlich Objektiven und Bildsensoren, um zu simulieren, wie sie mit unterschiedlichen Lichtverhältnissen, Wetterbedingungen und Bewegungsdynamik interagieren. Dies hilft uns, unsere Entwürfe zu verfeinern und die Leistung vorherzusagen, bevor wir physische Prototypen herstellen.
Ein wichtiger Aspekt der Sensormodellierung ist die Berücksichtigung von optischen Verzerrungen, Bewegungsunschärfe und Rolling-Shutter-Effekten. Wenn diese Faktoren nicht genau simuliert werden, kann das Wahrnehmungssystem beim Einsatz in realen Fahrzeugen nicht die erwartete Leistung erbringen. Durch die Verbesserung der Sensormodellierung können wir Trainingsdaten erstellen, die den realen Bedingungen besser entsprechen, was zu robusteren und zuverlässigeren Algorithmen führt.
rFpro: Wie läuft die Erstellung eines Sensormodells ab und was sind die Herausforderungen?
MP: Die Sensormodellierung beginnt mit der Optik - es muss sichergestellt werden, dass sich das Objektiv und der Bildsensor so verhalten, wie sie es im wirklichen Leben tun würden. Dieser Prozess ist eine Herausforderung, da optische Effekte komplexe Wechselwirkungen mit sich bringen, nicht nur mit dem Objektiv, sondern auch mit Elementen wie der Windschutzscheibe des Fahrzeugs.
Dann müssen wir das Verhalten des digitalen Bildsensors berücksichtigen. Bewegungsunschärfe, Rolling-Shutter-Effekte und andere dynamische Faktoren beeinflussen die Bildqualität erheblich. Diese Effekte können nicht einfach nach dem Rendering angewendet werden, sondern müssen in die Simulations-Engine selbst integriert werden.
rFpro: Wie wichtig sind Abweichungen bei Simulationsdaten?
MP: Variation ist entscheidend. Einfach ausgedrückt: Wenn ein Algorithmus nur auf eine bestimmte Art von Objekten trainiert wurde, z. B. auf rote Autos, könnte er Schwierigkeiten haben, wenn er z. B. auf einen blauen Lieferwagen trifft. Dieses Problem, das als Overfitting bekannt ist, kann zu unzuverlässigen Leistungen in unterschiedlichen Umgebungen führen.
Die Simulation ermöglicht es uns, eine breite Palette von Variationen einzuführen, z. B. verschiedene Fahrzeugtypen und -farben, Lichtverhältnisse, Straßenoberflächen und sogar kleinere Unzulänglichkeiten wie uneinheitliche Straßenmarkierungen. Dadurch wird sichergestellt, dass das Wahrnehmungssystem in einem breiten Umfeld funktionieren kann und nicht auf einen engen Datensatz abgestimmt ist.
rFpro: Warum ist Realismus in der Simulation so wichtig?
MP: Bei Fahrfunktionen ist die Genauigkeit der Simulation weniger kritisch, aber bei Erkennungsfunktionen ist sie sehr wichtig. Je realistischer die Simulation ist und je genauer die Daten sind, desto zuverlässiger wird der trainierte Algorithmus in der realen Welt sein. Physikalisch modelliertes Rendering stellt sicher, dass die simulierten Kameradaten die Wahrnehmung der Welt durch einen realen Sensor genau nachahmen. Dazu gehören Faktoren wie Bewegungsunschärfe, Verschlusseffekte und Objektivverzerrungen. Fehlen diese Elemente, sind die erzeugten Bilder wahrscheinlich "über-scharf", was der realen Welt nicht entspricht.
rFpro: Welche Risiken birgt das Training von Wahrnehmungssystemen mit unrealistischen Daten?
MP: Wenn ein Algorithmus auf übermäßig scharfe, perfekte Bilder trainiert wird, kann er unter realen Bedingungen, in denen Bewegungsunschärfe, Beleuchtungsschwankungen und Umgebungsfaktoren zu Ungenauigkeiten führen, nicht gut funktionieren. Diese Diskrepanz kann zu einer schlechten Erkennungsleistung und zu Sicherheitsrisiken beim Einsatz in einem Fahrzeug führen.
