rFpro hat seine neueste Simulationsrendering-Technologie auf den Markt gebracht, die den Realismus der Sensorsimulation verändert hat. Sie ermöglicht es, die Entwicklung von autonomen Fahrzeugen und ADAS schnell zu beschleunigen, indem sie synthetische Trainingsdaten erzeugt, anstatt sich ausschließlich auf Daten aus der realen Welt zu verlassen. Wir sprachen mit Matt Daley, rFpro Operations Director, um mehr darüber zu erfahren.
Was ist Raytracing und wie unterscheidet es sich von dem, was rFpro bereits tut?
Raytracing ist eine hochpräzise Methode zum Rendern einer Simulation. Die neue Rendering-Engine-Technologie wird neben unserer etablierten, auf Rasterung basierenden Rendering-Engine eingesetzt. Während bei der Rasterisierung Licht simuliert wird, das einzeln durch eine Szene dringt, werden beim Ray-Tracing mehrere Lichtstrahlen durch die Szene geschickt, um alle Nuancen der realen Welt genauer zu erfassen. Die Technologie wurde durch das Wachstum der Fahrzeugsensoren, wie Kamera, Lidar und Radar, für ADAS und autonome Fahrzeuge vorangetrieben. Diese Sensoren haben eine sicherheitskritische Funktion, so dass es von entscheidender Bedeutung ist, dass wir eine möglichst originalgetreue virtuelle Darstellung dieser Sensoren erstellen. Elektronische Sensoren sehen die Welt anders als das menschliche Auge und elektronische Wahrnehmungssysteme sind schwerer zu täuschen als ein Mensch, der einen Simulator fährt. Um aussagekräftige und hochwertige Trainingsdaten für die Entwicklung dieser Systeme zu erstellen, muss die Welt daher mit einer weitaus höheren Genauigkeit als je zuvor simuliert werden.
Wird die Rasterisierungs-Engine weiterhin verwendet?
Auf jeden Fall. Die Wahl der Rendering-Engine hängt davon ab, was Sie entwickeln möchten. Unsere Rasterisierungs-Engine wurde für Echtzeitsimulationen entwickelt und ist die Grundlage für die branchenführende Driver-in-the-Loop-Lösung von rFpro, die in der Automobilindustrie und im professionellen Motorsport eingesetzt wird. Für Echtzeitsimulationen, bei denen ein Fahrer Eingaben macht, ist die Rasterisierung also die Engine-Technologie der Wahl. Wenn Sie jedoch Sensorhardware oder -software entwickeln und nicht an die Echtzeit gebunden sind, bietet die Raytracing-Engine eine viel höhere Bildtreue, die für das Training und Testen der Wahrnehmungssysteme autonomer Fahrzeuge unerlässlich ist.
Wie wird sie Tier-1-Zulieferern und Fahrzeugherstellern bei der Entwicklung autonomer Fahrzeuge und ADAS-Technologien helfen?
Die Simulation ist heute in der gesamten Automobilindustrie als wichtiges Instrument zur Beschleunigung der Entwicklung weithin akzeptiert. Die Leistungsfähigkeit der Simulation bietet einen enormen Wert im Bereich der ADAS und autonomen Fahrzeuge. Sie ist die einzige Möglichkeit, AVs und autonome Systeme sicher und gründlich einer beträchtlichen Anzahl von Grenzfällen zu unterziehen, um die KI zu trainieren und ihre Sicherheit zu beweisen. Bisher war die Genauigkeit von Simulationen jedoch nicht hoch genug, um Daten aus der realen Welt zu ersetzen. Unsere Raytracing-Technologie ist eine physikalisch modellierte Simulationslösung, die speziell für Sensorsysteme entwickelt wurde, um genau nachzubilden, wie diese die Welt "sehen". Damit können die Hersteller nun erstmals brauchbare Trainingsdaten für die Entwicklung autonomer Systeme erzeugen. Die Verfügbarkeit dieser aus der Simulation gewonnenen High-Fidelity-Daten ermöglicht es auch, Sensoren zu entwickeln, bevor sie physisch existieren, indem Sensormodelle verwendet werden. Damit entfällt die Notwendigkeit, auf einen realen Sensor zu warten, bevor man Daten sammelt und mit der Entwicklung beginnt. Dies wird die Entwicklung von autonomen Fahrzeugen und anspruchsvollen ADAS-Technologien erheblich beschleunigen und die Notwendigkeit verringern, so viele Entwicklungsfahrzeuge auf öffentlichen Straßen zu fahren.
Wie "sehen" Sensorsysteme die Welt anders als Menschen und warum ist es wichtig, dies in der Simulation nachzubilden?
Moderne HDR-Kameras (High Dynamic Range), die in der Automobilindustrie eingesetzt werden, nehmen mehrere Belichtungen von unterschiedlicher Dauer auf. Zum Beispiel eine kurze, mittlere und lange Belichtung pro Bild. Je länger die Belichtungszeit ist, desto stärker ist der Unschärfeeffekt bei sich bewegenden Objekten. Wir Menschen sehen das nicht, aber die Kameras schon - und die Wahrnehmungssysteme, die diese Bilder aufnehmen, müssen lernen, damit umzugehen.
Stellen Sie sich ein schnell fahrendes Fahrzeug auf einer Autobahn vor: Ein von einer Kamera erzeugtes Bild mit langer Belichtungszeit wird Unschärfen in der Drehung der Räder "sehen". Die gleiche Unschärfe tritt auf, wenn Fahrzeuge vor Ihnen an Kreuzungen kreuzen. Ein weiteres Problem besteht darin, dass einige Sensoren einen Rolling Shutter und keinen Global Shutter haben. Bei einem Global Shutter werden alle Pixel auf dem Sensor genau zur gleichen Zeit belichtet, während ein Rolling-Shutter-Sensor einen kleinen Zeitversatz für die Belichtung jeder einzelnen Pixelzeile auf dem Sensor hat. Das bedeutet, dass der obere und der untere Teil des Bildes nicht genau zum gleichen Zeitpunkt aufgenommen werden. Der Rolling-Shutter-Effekt der Kamera verzerrt auch Objekte, wenn sich das Ego-Fahrzeug oder die Objekte selbst mit hoher Geschwindigkeit bewegen. So kann z. B. ein Verkehrskegel am Straßenrand aufgrund des Zeitunterschieds zwischen der Belichtung am oberen und unteren Bildrand gestreckt oder schräg erscheinen.
Es ist von entscheidender Bedeutung, diese Nuancen genau zu simulieren, da die Kamera diese in der realen Welt sehen wird und die Wahrnehmungssysteme damit zurechtkommen müssen. Andernfalls können die Daten, die zum Trainieren von KI-Systemen verwendet werden, zu einfach und irreführend sein. Durch die Erstellung dieser hochrealistischen, ingenieurmäßigen Simulation wird die Abhängigkeit der Industrie von der Generierung realer Daten, die diese Nuancen in jedem Bild enthalten, erheblich reduziert. Um dies zu erreichen, hat rFpro seine Multi-Exposure-Kamera-API eingeführt, die nun für jede der Belichtungszeiten eines Sensors individuelle Raytracing-Bilder erstellen kann. Dadurch wird sichergestellt, dass die simulierten Bilder neben physikalisch modellierten Rolling-Shutter-Effekten auch genaue Unschärfen enthalten, die durch schnelle Fahrzeugbewegungen oder Straßenvibrationen verursacht werden.
In welchen Umgebungen ist Raytracing am effektivsten?
Als Mehrwegeverfahren simuliert Raytracing zuverlässiger die große Anzahl von Reflexionen, die um einen Sensor herum auftreten - so wird jede Szene unabhängig von der Tageszeit oder der Umgebung mit höherer Genauigkeit simuliert. Das bedeutet, dass selbst die schwierigsten Szenarien mit wenig Licht oder Umgebungen, in denen mehrere Lichtquellen vorhanden sind, jetzt genauso genau simuliert werden wie Szenen bei hellem Sonnenlicht am Tag. Die Wiedergabetreue von Reflexionen und Schatten ist enorm gestiegen. Zu den eindrucksvollsten Beispielen gehören Parkhäuser und beleuchtete Tunnel mit hellem Tageslicht an ihren Ausgängen oder nächtliche Fahrten in der Stadt unter mehreren Straßenlampen. Diese Art von Umgebungen stellen für AVs in der Regel die größte Herausforderung dar. Daher ist es von großem Vorteil, sie hier in Simulationen und nicht auf öffentlichen Straßen testen zu können.
Gibt es bei dieser Technologie irgendwelche Echtzeit-Einschränkungen?
Im Gegensatz zu einigen alternativen Technologien wird unser Raytracing-Rendering auf jedes Element in einer simulierten Szene angewendet, die physikalisch modelliert wurde und genaue Materialeigenschaften enthält, um möglichst realitätsnahe Bilder zu erzeugen. Da dies rechenintensiv ist, kann es von der Echtzeit entkoppelt und je nach dem erforderlichen Detailgrad verlangsamt oder beschleunigt werden. Auf diese Weise kann ein High-Fidelity-Rendering durchgeführt werden, das dann als Trainingsdaten für Deep-Learning-Systeme verwendet oder in anschließenden Echtzeitläufen abgespielt werden kann, um entwickelte Wahrnehmungssysteme zu testen. Dadurch wird der übliche Kompromiss zwischen Rendering-Qualität und Laufgeschwindigkeit überwunden, wenn man gezwungen ist, die Simulation auf Echtzeit zu beschränken. Das Schöne an der Art und Weise, wie rFpro die neue Technologie implementiert hat, ist, dass es so einfach ist, zwischen der Echtzeit-Rasterisierungs-Engine und der neuen Raytracing-Engine zu wechseln. Endanwender können ihre Tests schnell und effizient einrichten und bestimmte Szenarien in Echtzeit prüfen. Anschließend können sie den Test einfach mit aktivierter Raytracing-Engine erneut ausführen, um die Ergebnisse mit höherer Genauigkeit zu erhalten. Der Endbenutzer muss nichts an seiner vorbereiteten Umgebung oder seinen Testszenarien ändern.
Wann wird diese neue Technologie den Kunden zur Verfügung stehen?
Unsere neue Raytracing-Funktion ist ab sofort als Ergänzung zu den bestehenden Desktop-Optionen verfügbar und wird in Kürze auch für High Performance Computing (HPC)-Lösungen zur Verfügung stehen.
