이 보도 자료는 공식적으로 영어로 작성되었으며 이 언어로만 배포되어야 합니다. 다른 모든 언어 번역은 자동화되어 있으며 내용을 정확하게 반영하지 못할 수 있습니다.
- 이번 협력은 ADAS 및 자율주행 기술 개발을 빠르게 가속화하는 것을 목표로 합니다.
- 소니 세미컨덕터 솔루션의 센서 모델이 물리적 CMOS 이미지 센서와 함께 처음으로 rFpro에 통합되었습니다.
- 고도로 정확한 렌더링 기술과 센서 모델로 실제 데이터 수집에 대한 업계의 의존도를 크게 줄입니다.
소니 세미컨덕터 솔루션즈 코퍼레이션(이하 소니)과 협력하여 rFpro 소프트웨어에 통합된 고충실도 센서 모델을 개발하게 된 것을 발표하게 되어 기쁘게 생각합니다.
이번 협력은 센서 개발 주기 동안 물리적 데이터를 수집해야 하는 필요성을 크게 줄이기 위해 시뮬레이션 솔루션의 충실도를 개선하는 데 초점을 맞출 것입니다. 이를 통해 ADAS 및 자율 주행 차량용 인지 시스템을 가상 환경에서 개발, 훈련 및 테스트할 수 있어 개발 속도를 빠르게 높일 수 있습니다.
"소니 세미컨덕터 솔루션은 최근 출시된 레이 트레이싱 기술과 카메라가 처음으로 '보는' 것을 정확하게 재현하는 rFpro의 다중 노출 카메라 기술을 개발하는 데 중요한 협력자였습니다."라고 rFpro 운영 책임자인 Matt Daley는 말합니다. "소니와 긴밀히 협력하고 소니의 센서 모델을 우리 기술에 통합함으로써 시뮬레이션에서 높은 수준의 상관관계를 달성할 수 있었습니다. 그 결과, 우리는 함께 업계가 비용과 시간이 많이 드는 실제 데이터 수집에 대한 의존도를 줄일 수 있도록 돕고 있습니다."
소니 세미컨덕터 솔루션즈 코퍼레이션의 자동차 사업부 부본부장 켄지 오니시(Kenji Onishi)는 "rFpro와 소니 세미컨덕터 솔루션즈 간의 협력으로 자동차 등급의 엔드투엔드 시뮬레이션 파이프라인을 ADAS 인식 시스템 개발자에게 제공할 수 있게 되었습니다."라고 말했습니다. "소니는 자동차 등급의 충실도를 달성하기 위해 카메라 시스템에 사용되는 이미지 센서의 내부 아키텍처를 기반으로 센서 모델을 준비했습니다."
심층 신경망을 사용하여 개발되는 인식 소프트웨어와 차량용 이미지 센서는 모두 이 파이프라인의 구성 요소이며, 더 높은 ADAS 기능과 견고성에 대한 요구를 충족하기 위해 더욱 정교해져 개발 및 검증에 상당한 압박을 가하고 있습니다. 자동차 등급 시뮬레이션은 합성 데이터를 생성하는 도구로, 이를 위한 솔루션으로 여겨져 왔습니다.
신호 처리, LED 깜박임 완화, 스펙트럼 효과, 모션 블러 및 롤링 셔터와 같은 이미지 센서 제어는 소니의 센서 모델로 재현된 현상의 몇 가지 예입니다. 소니의 센서 모델과 렌더링 시스템 간의 인터페이스는 매우 효율적이며 고충실도 시뮬레이션을 빠르게 실행할 수 있습니다. 또한 이 인터페이스는 소니의 모든 차량용 이미지 센서에 공통적으로 적용되므로 사용자는 새로운 세대의 센서 모델이 출시될 때 빠르게 전환할 수 있습니다.
시뮬레이션을 통해 차량 시스템에 무한한 시나리오를 적용할 수 있습니다. 날씨, 시간대, 교통량, 보행자 수 등을 모두 독립적으로 자동으로 제어하고 변경할 수 있습니다. rFpro에서는 씬의 모든 요소가 정확한 머티리얼 특성으로 물리적으로 모델링되고 노면이 1mm의 높이 정확도 이내로 재현됩니다.
"차량은 시뮬레이션을 통해 매일 수천 마일의 고가치, 고활동 가상 거리를 주행할 수 있습니다."라고 Daley는 말합니다. "엣지 케이스를 식별하고 새로운 반복을 신속하게 생성하여 센서 시스템을 철저하게 테스트할 수 있습니다. 따라서 대부분의 주행 거리가 비교적 평온한 현실 세계에서 노출될 때까지 기다릴 필요가 없습니다."
소니는 합성 트레이닝 데이터 생성을 목표로 하는 소니의 SIL(소프트웨어 인 더 루프) 솔루션인 레이 트레이싱 기술에서 rFpro와 협업한 첫 번째 파트너입니다. 이 기술은 여러 광선을 사용하여 현실 세계의 모든 뉘앙스를 정확하게 포착합니다. 다중 경로 기법으로 카메라 주변에서 발생하는 수많은 반사를 안정적으로 시뮬레이션할 수 있습니다. 이는 저조도 시나리오나 여러 광원이 있는 환경에서 반사와 그림자를 정확하게 묘사하는 데 매우 중요합니다.
rFpro의 레이 트레이싱은 시뮬레이션된 씬의 모든 요소에 적용되며, 정확한 머티리얼 속성을 포함하도록 물리적으로 모델링되어 가장 충실도가 높은 이미지를 생성합니다. 이 과정은 계산이 많이 필요하므로 실시간과 분리할 수 있습니다. 프레임 렌더링 속도는 필요한 디테일 수준에 맞게 조정됩니다.
자동차 업계에서 사용되는 최신 HDR(하이 다이나믹 레인지) 카메라는 다양한 시간 길이의 다중 노출을 캡처합니다. 예를 들어 프레임당 짧은 노출, 중간 노출, 긴 노출이 있습니다. 이를 정확하게 시뮬레이션하기 위해 rFpro는 센서 제조업체의 센서 모델 및 자체 API와 통합되는 다중 노출 카메라 API를 도입했습니다. 이를 통해 센서 모델은 실제와 동일한 노출 주기로 가상 세계를 샘플링할 수 있습니다.
"rFpro 렌더링과 소니의 센서 모델 파이프라인을 사용하면 모션 블러, 롤링 셔터 특성, 컬러 필터 특성 및 물리적 센서의 신호 처리가 시뮬레이션된 이미지에 존재합니다. 또한 이미지 센서의 LED 깜박임 완화 기능을 센서 모델에 복제하고 시뮬레이션에서 완전히 실행할 수 있습니다. 이를 통해 센서 모델은 신호등과 차량 브레이크등과 같이 rFpro의 고충실도 에셋 및 렌더링 시스템에서 시뮬레이션된 빠르게 깜박이는 LED 광원과 상호 작용할 수 있습니다. 이러한 현상을 정확하게 재현하는 것은 실제 세계와 높은 수준의 상관관계를 달성하는 데 매우 중요합니다."
