Dans la première partie de notre série de blogs en trois parties sur la plateforme AV elevate™de rFpro, nous avons exploré la façon dont la simulation transforme la mise au point des systèmes de capteurs pour les véhicules autonomes. Dans ce billet, nous nous intéressons à la prochaine étape majeure du développement de l'AV ; la formation du système de perception. Nous nous sommes entretenus avec Josh Wreford, chef de produit AV elevate chez rFpro, pour savoir comment la simulation peut aider à former les algorithmes d'apprentissage automatique avec la variété et la précision dont ils ont besoin pour fonctionner de manière fiable dans le monde réel.
Q : Pour commencer, qu'entend-on par formation d'un système de perception ?
Former un système de perception consiste à lui apprendre à comprendre et à interpréter le monde qui l'entoure. C'est très similaire à la façon dont les enfants apprennent. On ne peut pas montrer un chien à un enfant et s'attendre à ce qu'il reconnaisse tous les chiens. Vous l'exposez à de nombreux exemples différents et, avec le temps, il apprend les caractéristiques communes.
Nous faisons exactement la même chose pour l'apprentissage automatique. Nous présentons au système un large éventail d'entrées, toutes étiquetées avec les bonnes réponses, afin qu'il puisse identifier les modèles qui comptent. L'objectif est que l'algorithme comprenne ce qu'est quelque chose, indépendamment des conditions ou du contexte dans lequel il apparaît.
Q : Que doit percevoir exactement le système ?
Il doit reconnaître non seulement les objets physiques tels que les piétons, les cyclistes et les véhicules, mais aussi les "concepts" tels que les bords de route, les limites des voies et les trottoirs, et non seulement les identifier, mais aussi, ce qui est essentiel, en comprendre la signification. Nous ne nous contentons pas d'étiqueter des formes, nous enseignons une compréhension fonctionnelle. Par exemple, deux zones de macadam peuvent se ressembler, mais l'une est la voie du véhicule et l'autre celle du trafic venant en sens inverse ; cette différence est essentielle pour la sécurité.
C'est ce que nous appelons la segmentation fonctionnelle. C'est le pont entre la perception et la planification. Il ne s'agit pas seulement de construire une carte visuelle, mais de comprendre comment le véhicule peut se comporter dans cet espace libre. C'est ce qui permet de prendre des décisions sûres et logiques.
Q : Pourquoi la variété est-elle si importante dans la formation des systèmes de perception ?
Si nous reprenons l'analogie de l'enseignement des chiens aux enfants, si l'enfant n'a jamais vu qu'un chien noir, il supposera que la couleur est une caractéristique de ce qui fait qu'un chien est un chien. La seule façon d'apprendre à l'algorithme d'apprentissage automatique que ce n'est pas le cas est de lui montrer la plus grande variété de chiens possible. Le fait de ne pas montrer suffisamment de variations est appelé "overfitting".
Ce problème se pose également à un niveau beaucoup plus granulaire. Si les données synthétiques fournies à un algorithme ne montrent que des marquages routiers nouvellement peints ou des panneaux de signalisation propres, par exemple, le modèle risque d'échouer dès que quelque chose s'en écarte. Dans ce cas, le système devient trop dépendant des schémas étroits des données et peine à généraliser. En exposant la pile de perception à un large éventail de données d'entrée, comme des panneaux sales ou des marques de peinture décolorées, nous renforçons la confiance dans le système. L'objectif est de s'entraîner sur la couverture la plus large possible, afin que le système continue à fournir des résultats fiables même lorsque les conditions ne sont pas idéales.
Q : Comment le système AV elevate permet-il d'introduire cette variété ?
La simulation nous donne une incroyable marge de manœuvre. Avec AV elevate, nous pouvons faire varier presque tous les paramètres. L'éclairage, la météo, l'heure de la journée, la période de l'année, l'apparence des objets, les modèles de piétons, les types de véhicules et leur couleur peuvent tous être modifiés, ce qui crée un vaste éventail de variations.
Au début, les couleurs de nos véhicules étaient limitées à cinq options. Ce n'était tout simplement pas nécessaire pour le développement de la dynamique du véhicule. Aujourd'hui, nous avons élevé le niveau d'AV et nous travaillons avec les principaux équipementiers pour développer des systèmes ADAS et AD, nous permettons un contrôle complet des couleurs RVB des véhicules. Cela représente plus de 16 millions d'options de couleurs. Nous avons également introduit des fonctions telles que les masques de saleté, afin que les voitures et les revêtements routiers puissent paraître usés ou sales. Il s'agit de créer un environnement riche en données qui défie le système de perception à tous points de vue.
Q : Le même niveau de variation est-il appliqué aux modèles de capteurs eux-mêmes ?
Oui, et c'est un élément essentiel d'une formation réaliste. Les capteurs du monde réel ne sont pas parfaits. Les objectifs des caméras varient d'une caméra à l'autre, se dégradent avec le temps ou se salissent. AV elevate vous permet de simuler cela, en introduisant un flou d'image et des aberrations de lentilles dans les données synthétiques.
Il ne s'agit pas seulement de s'entraîner à l'utilisation d'un matériel idéal. Vous préparez le système aux inévitables imperfections liées à l'utilisation réelle, tout au long de la durée de vie du véhicule.
Q : La simulation peut-elle vraiment remplacer les données de formation réelles ?
Les données synthétiques ne remplacent pas complètement les données réelles, la corrélation sera toujours une étape critique dans le processus de développement, mais c'est maintenant une partie essentielle du mélange. Il y a des choses que l'on ne peut tout simplement pas faire avec des données réelles et que l'on peut faire avec des données synthétiques. L'un des principaux avantages de la simulation est l'accès à la réalité du terrain. Dans AV elevate, nous connaissons la position 3D exacte et la classification de chaque objet. C'est incroyablement puissant pour la formation, car cela signifie que vous pouvez générer des données parfaitement étiquetées avec une précision de 100 %.
Cela nous permet, par exemple, de fournir une segmentation panoptique pour la caméra et la catégorisation des objets pour chaque écho radar ou chaque point du nuage de points LiDAR.
Q : Comment les données de formation sont-elles générées dans AV elevate ?
Il existe deux manières principales de générer des données de formation : un scénario spécifique et diverses variations. La génération de données de scénarios spécifiques permet à l'utilisateur de cibler le développement. Par exemple, le scénario pourrait être celui d'une voiture coupant devant le véhicule d'essai. Une fois le scénario de base élaboré, l'éditeur de scénarios permet d'introduire un grand nombre de variations, telles que la vitesse de déplacement de la voiture test, la distance d'insertion, les conditions météorologiques et l'heure de la journée.
Avec des données de variations diverses, l'objectif est de maximiser la valeur de la génération de données en changeant des aspects tels que les types d'objets, les positions, les comportements et les conditions environnementales pour chaque image. Il s'agit d'une approche moins ciblée, mais qui offre une couverture beaucoup plus large. La combinaison intelligente de ces deux méthodes garantit une formation complète du modèle pour des performances optimales dans les applications du monde réel.
AV elevate repose sur la plateforme de simulation haute fidélité de rFpro et exploite sa technologie de rendu par traçage de rayons. Cela signifie que chaque image des données d'entraînement comprend des effets réalistes tels que le flou de mouvement et l'effet d'obturateur roulant. Ainsi, ce que le capteur "voit" est aussi proche que possible de ce qu'il verrait dans le monde réel.
Q : Les données synthétiques peuvent-elles être adaptées à différentes applications de perception ?
Absolument. Les meilleures données de formation sont toujours spécifiques à une application. Si vous travaillez sur des systèmes de détection humaine, vous devez disposer d'un grand nombre de formes, de poses, de vêtements et de types de mouvements humains différents. S'il s'agit de planification de la navigation, il faut davantage varier les tracés des routes, les carrefours et les marquages des voies. Nous disposons d'une bibliothèque de plus de 180 jumeaux numériques de lieux réels. Cela signifie que vous pouvez soumettre votre algorithme d'apprentissage automatique aux rues animées de Los Angeles, aux autoroutes à grande vitesse d'Allemagne ou aux routes de campagne vallonnées du Royaume-Uni, le tout depuis votre bureau.
Q : Quelle est la place de la formation à la perception dans le processus plus large de développement de l'AV ?
Il se situe juste au milieu. Tout d'abord, vous réglez vos capteurs pour capturer les meilleures données possibles. Ensuite, vous entraînez votre système de perception à l'aide de ces données, idéalement dans un large éventail de scénarios très variés. Une fois cette étape franchie, vous passez au test de l'ensemble de la technologie dans des conditions réalistes et difficiles.
