Diese Pressemitteilung wurde offiziell in englischer Sprache erstellt und sollte nur in dieser Sprache verbreitet werden. Alle anderen Sprachübersetzungen sind automatisiert und geben den Inhalt möglicherweise nicht korrekt wieder.
- Die Zusammenarbeit zielt darauf ab, die Entwicklung von ADAS und autonomen Technologien rasch zu beschleunigen
- Sensormodelle von Sony Semiconductor Solutions erstmals neben physischen CMOS-Bildsensoren in rFpro integriert
- Hochpräzise Rendering-Technologie und Sensormodelle verringern die Abhängigkeit der Branche von der Datenerfassung in der realen Welt erheblich
Wir freuen uns, unsere Zusammenarbeit mit der Sony Semiconductor Solutions Corporation (Sony) bekannt geben zu können, um in die rFpro-Software integrierte High-Fidelity-Sensormodelle zu entwickeln.
Die Zusammenarbeit wird sich auf die Verbesserung der Genauigkeit von Simulationslösungen konzentrieren, um den Bedarf an der Erfassung physischer Daten während des Sensorentwicklungszyklus deutlich zu verringern. Sie wird es ermöglichen, Wahrnehmungssysteme für ADAS und autonome Fahrzeuge in einer virtuellen Umgebung zu entwickeln, zu trainieren und zu testen, wodurch die Entwicklung beschleunigt wird.
"Sony Semiconductor Solutions war ein wichtiger Partner bei der Entwicklung unserer kürzlich eingeführten Raytracing-Technologie und der Multi-Exposure-Kameratechnologie von rFpro, die zum ersten Mal genau nachbildet, was Kameras 'sehen'", so Matt Daley, rFpro Operations Director. "Durch die enge Zusammenarbeit mit Sony und die Integration seiner Sensormodelle in unsere Technologie konnten wir ein hohes Maß an Korrelation bei der Simulation erreichen. Damit helfen wir der Branche, die teure und zeitaufwändige Erfassung von Daten aus der realen Welt zu reduzieren."
"Die Zusammenarbeit zwischen rFpro und Sony Semiconductor Solutions wird den Entwicklern von ADAS-Wahrnehmungssystemen eine End2End-Simulationspipeline in Automobilqualität zur Verfügung stellen", sagte Kenji Onishi, Deputy Senior General Manager, Automotive Business Division, Sony Semiconductor Solutions Corporation. "Sony hat ein Sensormodell erstellt, das auf der internen Architektur der in Kamerasystemen verwendeten Bildsensoren basiert, um eine automobilgerechte Wiedergabetreue zu erreichen."
Die Wahrnehmungssoftware, die mit Hilfe von tiefen neuronalen Netzen entwickelt wird, und die Bildsensoren im Auto sind beides Komponenten dieser Pipeline. Sie sind immer anspruchsvoller geworden, um der Nachfrage nach höherer ADAS-Funktionalität und Robustheit gerecht zu werden, was einen erheblichen Druck auf die Entwicklung und Validierung ausübt. Die Simulation in der Automobilindustrie ist ein Werkzeug zur Erzeugung synthetischer Daten und wurde als Lösung angesehen.
Signalverarbeitung, LED-Flimmern, Spektraleffekte und Bildsensorsteuerung, wie Bewegungsunschärfe und Rolling Shutter, sind einige Beispiele für die Phänomene, die das Sensormodell von Sony nachbildet. Die von Sony entwickelte Schnittstelle zwischen dem Sensormodell und dem Rendering-System ist sehr effizient und ermöglicht schnelle Simulationen mit hoher Wiedergabetreue. Die Schnittstelle ist auch für alle Fahrzeug-Bildsensoren von Sony gleich, so dass die Benutzer schnell auf eine neue Generation von Sensormodellen umsteigen können, sobald diese verfügbar sind.
Die Simulation ermöglicht es, Fahrzeugsysteme einer unbegrenzten Anzahl von Szenarien zu unterziehen. Wetter, Tageszeit, Verkehrsaufkommen und Fußgänger können unabhängig und automatisch gesteuert und variiert werden. In rFpro wurde alles in der Szene physikalisch modelliert, mit genauen Materialeigenschaften und der Straßenoberfläche mit einer Höhengenauigkeit von 1 mm.
"Fahrzeuge können in der Simulation jeden Tag Tausende von hochwertigen, hochaktiven virtuellen Kilometern zurücklegen", so Daley. "Grenzfälle können identifiziert und neue Iterationen schnell erstellt werden, um die Sensorsysteme gründlich zu testen. Damit entfällt die Notwendigkeit, auf die Exposition in der realen Welt zu warten, wo die meisten gefahrenen Kilometer relativ ereignislos sind."
Sony ist der erste Partner, der mit rFpro bei der kürzlich eingeführten Raytracing-Technologie zusammenarbeitet. Dabei handelt es sich um eine Software-in-the-Loop (SIL)-Lösung des Unternehmens zur Erzeugung synthetischer Trainingsdaten. Sie nutzt mehrere Lichtstrahlen, um alle Nuancen der realen Welt genau zu erfassen. Da es sich um ein Mehrwegeverfahren handelt, kann es die große Anzahl von Reflexionen, die um eine Kamera herum auftreten, zuverlässig simulieren. Dies ist entscheidend für Szenarien mit wenig Licht oder Umgebungen, in denen es mehrere Lichtquellen gibt, um Reflexionen und Schatten genau darzustellen.
Das Raytracing von rFpro wird auf jedes Element in einer simulierten Szene angewandt, die physikalisch modelliert wurde und genaue Materialeigenschaften enthält, um möglichst realitätsnahe Bilder zu erzeugen. Da dies rechenintensiv ist, kann es von der Echtzeit entkoppelt werden. Die Rendering-Rate der Frames wird an den erforderlichen Detailgrad angepasst.
Moderne HDR-Kameras (High Dynamic Range), die in der Automobilindustrie eingesetzt werden, nehmen Mehrfachbelichtungen mit unterschiedlichen Belichtungszeiten auf. Zum Beispiel eine kurze, mittlere und lange Belichtung pro Bild. Um dies genau zu simulieren, hat rFpro seine Multi-Exposure-Kamera-API eingeführt, die mit dem Sensormodell des Sensorherstellers und seiner eigenen API integriert wird. Dadurch kann das Sensormodell die virtuelle Welt mit genau den gleichen Belichtungszeiten abtasten wie sein physisches Gegenstück.
Daley fasst zusammen: "Mit dem rFpro-Rendering und der Sensormodell-Pipeline von Sony sind Bewegungsunschärfe, Rolling-Shutter-Eigenschaften, Farbfiltereigenschaften und Signalverarbeitung der physischen Sensoren in den simulierten Bildern vorhanden. Außerdem kann die LED-Flimmerunterdrückungsfunktion im Bildsensor im Sensormodell nachgebildet und in der Simulation vollständig genutzt werden. Es ermöglicht dem Sensormodell, mit den schnell flackernden LED-Lichtquellen zu interagieren, die auf dem High-Fidelity-Asset- und Rendering-System von rFpro simuliert werden, wie z. B. Verkehrsampeln und Fahrzeugbremslichter. Die genaue Nachbildung dieser Phänomene ist entscheidend, um ein hohes Maß an Korrelation mit der realen Welt zu erreichen."
