このプレスリリースは英語で正式に作成されたものであり、この言語でのみ配布してください。他の言語の翻訳はすべて自動翻訳であり、内容を正確に反映していない可能性があります。
- この技術連携により、ADASおよび自動運転技術の開発を大いに加速させることを目指す
- ソニーセミコンダクタソリューションズの物理的なCMOSイメージセンサーと同等のセンサーモデルがrFproに初めて統合
- 高精度なレンダリング技術とセンサーモデルにより、実データ収集への依存度を大幅に軽減
この度、ソニーセミコンダクタソリューションズ株式会社（以下、「SSS」）との技術連携により、rFproソフトウェアに統合された高い再現性を有するセンサーモデルを開発しました。
この技術連携は、シミュレーション・ソリューションによる再現性を向上させ、センサー開発サイクルにおける物理データ収集の負担を大幅に削減することが可能となります。これにより、ADASや自動運転車向けの認識システムを仮想環境で開発、トレーニング、テストすることが可能になり、開発が大幅に加速されます。
「ソニーセミコンダクタソリューションズは、当社が最近発表したレイトレーシング技術と、rFproの多重露光カメラ技術の開発における重要なパートナーです。これらはカメラが"見る "ものを正確に再現する初の試みです」と、rFproのオペレーションディレクター、Matt Daleyは語ります。「SSSと緊密に連携し、同社のセンサーモデルを当社の技術に統合することで、シミュレーションにおいて高いレベルの相関を達成することができました。この成果は、業界全体として、コストと時間を要する物理データ収集への依存度を低減することに貢献します。」
「rFproとソニーセミコンダクタソリューションズの技術連携により、ADASにおける認識システムの開発者向けに、車載グレードのEnd2Endのシミュレーション パイプラインが提供可能となります」と、ソニーセミコンダクタソリューションズ株式会社 車載事業部 事業部長の大西健治氏は語ります。「私たちは、車載グレードの再現性を実現するために、実際のカメラシステムに搭載のイメージセンサーの内部アーキテクチャに基づいたセンサーモデルを用意しました。」
ディープニューラルネットワークを用いて開発された認識ソフトウェアと車載用イメージセンサーは、いずれもこのパイプラインの構成要素であり、ADASの機能性と堅牢性の要求に応えられるよう高度化が進んでいます。そのため、開発と検証には大きな負担がかかっていました。車載グレードのシミュレーションは、合成データを生成するツールであり、解決策として注目されています。
信号処理、LEDフリッカー抑制、スペクトル効果、モーションブラーやローリングシャッターなどのイメージセンサー制御は、SSSのセンサーモデルによって再現された現象の一例です。SSSのセンサーモデルとレンダリングシステム間のインターフェースは非常に効率的で、高忠実度のシミュレーションを迅速に実行することができます。また、このインターフェースはSSSの全ての車載用イメージセンサーに共通であるため、新世代のセンサーモデルが利用可能になった際には、ユーザーは迅速に移行することができます。
シミュレーションにより、車両システムを無限のシナリオで試験することができます。天候、時間帯、交通量、歩行者の量はすべて個別に制御でき、自動的に変化させることができます。rFproでは、シーン内のすべてのものが正確な素材特性で物理的にモデリングされ、路面は高さの精度が1mm以内で再現されています。
「車両は毎日何千マイルもの高価値かつ高活動量の走行をシミュレーション上で行うことができます」とDaleyは語ります。「エッジケースを特定し、新しいテストを高速に生成することで、センサーシステムを徹底的に検証することができます。これにより、大半が比較的平穏で何事もない実世界の走行試験に時間をかける必要がなくなります。」
SSSは、合成トレーニングデータの生成を目的としたrFproのソフトウェア・イン・ザ・ループ（SIL）ソリューションであるレイトレーシング技術に関して、rFproと提携した最初のパートナーです。これは、複数の光線を用いて、現実世界のあらゆるニュアンスを正確に捉えるものです。マルチパス技術として、カメラの周囲で起こる膨大な数の反射を確実にシミュレートすることができます。これは、低照度のシナリオや複数の光源がある環境で、反射や影を正確に表現するために不可欠なものです。
rFproのレイトレーシングは、シミュレーションシーン内のすべての要素に適用されます。正確な材料特性を持って物理的にモデリングされており、最高品質の画像を作成します。これは計算負荷が高いため、リアルタイム処理から切り離すことができます。フレームレンダリングのレートは、必要なディテールのレベルに合わせて調整されます。
自動車業界で使用されている最新のHDR（ハイダイナミックレンジ）カメラは、さまざまな長さの露光設定で複数回撮影します。例えば、1フレームにつき短時間、長時間、その中間の露光です。これを正確にシミュレートするために、rFproは、センサーメーカーのセンサーモデルと独自のAPIを統合した、多重露光カメラAPIを導入しました。これにより、センサーモデルは実機と全く同じ露光期間で仮想世界をサンプリングすることができます。
Daleyは次のように締めくくります。「rFproのレンダリングとSSSのセンサーモデル・パイプラインにより、モーションブラー、ローリングシャッター特性、カラーフィルター特性、物理的センサーの信号処理がシミュレーション画像に再現されます。また、イメージセンサーのLEDフリッカー低減機能をセンサーモデル上で再現し、シミュレーションで完全に実行できるようになります。これにより、センサーモデルは、rFproの高い再現性を有するアセットおよびレンダリングシステム上でシミュレートされたLEDフリッカーと相互作用できるようになります。これらの現象を正確に再現することは、現実世界との高い相関性を実現するために重要となります。」
