Ce communiqué de presse a été officiellement produit en anglais et ne doit être diffusé que dans cette langue. Toutes les autres traductions sont automatisées et peuvent ne pas refléter fidèlement le contenu.
- Cette collaboration vise à accélérer rapidement le développement des technologies ADAS et autonomes.
- Les modèles de capteurs de Sony Semiconductor Solutions sont intégrés pour la première fois dans rFpro aux côtés des capteurs d'images CMOS physiques.
- La technologie de rendu très précise et les modèles de capteurs réduisent considérablement la dépendance de l'industrie à l'égard de la collecte de données dans le monde réel.
Nous sommes ravis d'annoncer notre collaboration avec Sony Semiconductor Solutions Corporation (Sony) pour développer des modèles de capteurs haute fidélité intégrés au logiciel rFpro.
La collaboration se concentrera sur l'amélioration de la fidélité des solutions de simulation afin de réduire considérablement la nécessité de collecter des données physiques au cours du cycle de développement des capteurs. Elle permettra de développer, d'entraîner et de tester les systèmes de perception pour les systèmes d'aide à la conduite et les véhicules autonomes dans un environnement virtuel, ce qui accélérera rapidement le développement.
"Sony Semiconductor Solutions a été un collaborateur essentiel dans le développement de notre technologie de ray tracing récemment lancée et de la technologie Multi-Exposure Camera de rFpro, qui reproduit avec précision ce que les caméras 'voient' pour la première fois ", a déclaré Matt Daley, directeur des opérations de rFpro. "En travaillant en étroite collaboration avec Sony et en intégrant ses modèles de capteurs dans notre technologie, nous avons pu atteindre un haut niveau de corrélation dans la simulation. Par conséquent, ensemble, nous aidons l'industrie à réduire sa dépendance à l'égard de la collecte de données réelles, qui est coûteuse et prend beaucoup de temps.
"La collaboration entre rFpro et Sony Semiconductor Solutions permettra aux développeurs de systèmes de perception ADAS de disposer d'un pipeline de simulation de bout en bout de qualité automobile", a déclaré Kenji Onishi, Deputy Senior General Manager, Automotive Business Division, Sony Semiconductor Solutions Corporation. "Sony a préparé un modèle de capteur basé sur l'architecture interne des capteurs d'image utilisés dans les systèmes de caméra afin d'obtenir une fidélité de niveau automobile.
Les logiciels de perception, qui sont développés à l'aide de réseaux neuronaux profonds, et les capteurs d'images automobiles sont tous deux des composants de ce pipeline et sont devenus plus sophistiqués pour répondre à la demande de fonctionnalités ADAS et de robustesse accrues, ce qui exerce une pression importante sur le développement et la validation. La simulation de qualité automobile est un outil permettant de générer des données synthétiques et a été considérée comme une solution.
Le traitement du signal, l'atténuation du scintillement des LED, les effets spectraux et le contrôle du capteur d'image, tels que le flou de mouvement et le rolling shutter, sont quelques exemples des phénomènes reproduits par le modèle de capteur de Sony. L'interface de Sony entre le modèle de capteur et le système de rendu est très efficace et permet d'exécuter rapidement des simulations haute fidélité. L'interface est également commune à tous les capteurs d'images automobiles de Sony, ce qui permet aux utilisateurs de passer rapidement à une nouvelle génération de modèles de capteurs dès qu'ils sont disponibles.
La simulation permet de soumettre les systèmes de véhicules à un nombre illimité de scénarios. Les conditions météorologiques, l'heure de la journée, la quantité de trafic et les piétons peuvent tous être contrôlés et modifiés de manière indépendante et automatique. Dans rFpro, tous les éléments de la scène ont été modélisés physiquement avec des caractéristiques matérielles précises et la surface de la route a été recréée avec une précision de 1 mm en hauteur.
"Les véhicules peuvent parcourir des milliers de kilomètres virtuels de grande valeur et de grande activité chaque jour en simulation", a déclaré M. Daley. "Les cas limites peuvent être identifiés et de nouvelles itérations peuvent être générées rapidement afin d'exercer en profondeur les systèmes de capteurs. Il n'est plus nécessaire d'attendre l'exposition dans le monde réel, où la majorité des kilomètres parcourus sont relativement sans histoire."
Sony est le premier partenaire à collaborer avec rFpro sur sa technologie de ray tracing récemment lancée, qui est la solution logicielle en boucle (SIL) de l'entreprise visant à générer des données d'entraînement synthétiques. Elle utilise de multiples rayons lumineux pour capturer avec précision toutes les nuances du monde réel. En tant que technique à trajets multiples, elle peut simuler de manière fiable le grand nombre de réflexions qui se produisent autour d'une caméra. Cela est essentiel pour les scénarios à faible luminosité ou les environnements où il y a plusieurs sources de lumière pour représenter avec précision les reflets et les ombres.
Le traçage des rayons de rFpro est appliqué à chaque élément d'une scène simulée, qui a été modélisée physiquement pour inclure des propriétés matérielles précises afin de créer les images les plus fidèles. Comme cette opération est exigeante en termes de calcul, elle peut être découplée du temps réel. Le taux de rendu des images est ajusté en fonction du niveau de détail requis.
Les caméras HDR (High Dynamic Range) modernes utilisées dans l'industrie automobile capturent plusieurs expositions de durées variables. Par exemple, une exposition courte, moyenne et longue par image. Pour simuler cela avec précision, rFpro a introduit son API de caméra à expositions multiples, qui s'intègre au modèle de capteur du fabricant et à sa propre API. Cela permet au modèle de capteur d'échantillonner le monde virtuel avec les mêmes périodes d'exposition que son homologue physique.
Daley conclut : " Avec le rendu rFpro et le pipeline du modèle de capteur de Sony, le flou de mouvement, les caractéristiques de l'obturateur roulant, les caractéristiques du filtre de couleur et le traitement du signal des capteurs physiques existent dans les images simulées. Cela permet également de reproduire la fonction d'atténuation du scintillement des LED dans le capteur d'image sur le modèle de capteur et de l'utiliser pleinement dans la simulation. Il permet au modèle de capteur d'interagir avec les sources lumineuses LED à scintillement rapide simulées sur les actifs et le système de rendu haute fidélité de rFpro, tels que les feux de circulation et les feux de freinage des véhicules. La reproduction précise de ces phénomènes est essentielle pour atteindre des niveaux élevés de corrélation avec le monde réel".
