센서 시뮬레이션의 현실감을 혁신적으로 개선한 최신 시뮬레이션 렌더링 기술을 출시한 rFpro. 이 기술은 실제 세계에서 수집한 데이터에만 의존하지 않고 합성 훈련 데이터를 생성하여 자율주행차 및 ADAS 개발을 빠르게 가속화할 수 있도록 지원합니다. 매트 데일리(Matt Daley) rFpro 운영 디렉터를 만나 자세한 내용을 알아보세요.
레이 트레이싱이란 무엇이며, rFpro가 이미 수행하는 것과 어떻게 다른가요?
레이 트레이싱은 시뮬레이션을 매우 정확하게 렌더링하는 방식입니다. 이 새로운 렌더링 엔진 기술은 기존의 래스터화 기반 렌더링 엔진과 함께 사용할 수 있습니다. 래스터라이제이션은 장면을 한 번만 통과하는 빛을 시뮬레이션하는 반면, 레이 트레이싱은 장면을 통과하는 여러 광선을 사용하여 실제 세계의 모든 뉘앙스를 보다 정확하게 포착합니다. 이 기술은 카메라, 라이더, 레이더와 같은 차량 센서의 성장에 힘입어 ADAS 및 자율 주행 차량에 적용되고 있습니다. 이러한 센서는 안전에 중요한 기능을 수행하므로 이를 가장 충실하게 가상으로 표현하는 것이 필수적입니다. 전자 센서는 사람의 눈과는 다르게 세상을 인식하며, 전자 인식 시스템은 시뮬레이터를 운전하는 사람보다 속이기 더 어렵습니다. 따라서 이러한 시스템 개발을 위한 의미 있는 고부가가치 훈련 데이터를 생성하려면 이전보다 훨씬 더 높은 수준의 정확도로 세상을 시뮬레이션해야 합니다.
래스터화 엔진은 계속 사용되나요?
물론입니다. 렌더링 엔진의 선택은 개발하고자 하는 내용에 따라 결정됩니다. 유니티의 래스터라이제이션 엔진은 실시간 시뮬레이션을 위해 설계되었으며, 자동차 및 전문 모터스포츠 업계에서 사용되는 업계 최고의 드라이버 인 더 루프 솔루션인 rFpro를 구동합니다. 따라서 래스터화는 드라이버가 입력하는 실시간 시뮬레이션에 가장 적합한 엔진 기술이 될 것입니다. 하지만 센서 하드웨어나 소프트웨어를 개발 중이고 실시간의 제약을 받지 않는다면 레이 트레이싱 엔진이 훨씬 뛰어난 충실도의 이미지를 제공하며, 이는 자율 주행 차량의 인식 시스템을 훈련하고 테스트하는 데 필수적입니다.
티어 1 공급업체와 차량 제조업체가 자율주행차 및 ADAS 기술을 개발하는 데 어떤 도움이 될까요?
시뮬레이션은 이제 자동차 산업 전반에서 개발을 가속화하는 핵심 도구로 널리 사용되고 있습니다. 시뮬레이션의 힘은 ADAS 및 자율주행차 부문에서 엄청난 가치를 제공합니다. 시뮬레이션은 자율주행차와 자율 주행 시스템을 상당수의 엣지 케이스에 안전하고 철저하게 적용하여 AI를 학습시키고 안전성을 입증할 수 있는 유일한 방법입니다. 하지만 기존에는 시뮬레이션의 충실도가 실제 데이터를 대체할 만큼 높지 않았습니다. 유니티의 레이 트레이싱 기술은 센서 시스템이 세상을 '보는' 방식을 정확하게 재현할 수 있도록 특별히 개발된 물리적으로 모델링된 시뮬레이션 솔루션입니다. 이제 제조업체는 처음으로 자율 시스템 개발에 사용할 수 있는 훈련 데이터를 생성할 수 있습니다. 또한 시뮬레이션을 통해 생성된 고충실도 데이터를 사용할 수 있으므로 센서 모델을 사용하여 센서가 물리적으로 존재하기 전에 센서를 개발할 수 있습니다. 따라서 데이터를 수집하고 개발을 시작하기 전에 실제 센서를 기다릴 필요가 없습니다. 이는 자율주행차와 정교한 ADAS 기술의 발전을 크게 가속화하고 수많은 개발 차량을 공공 도로에서 주행해야 하는 필요성을 줄여줄 것입니다.
센서 시스템은 어떻게 인간과 다르게 세상을 '인식'하며, 이를 시뮬레이션에서 재현하는 것이 중요한 이유는 무엇일까요?
자동차 업계에서 사용되는 최신 HDR(하이 다이나믹 레인지) 카메라는 다양한 시간 길이의 다중 노출을 캡처합니다. 예를 들어 프레임당 짧은 노출, 중간 노출, 긴 노출이 있습니다. 노출 시간이 길수록 움직이는 물체의 블러 효과가 커집니다. 사람은 이를 인지하지 못하지만 카메라는 인지할 수 있으며, 이러한 이미지를 수집하는 인식 시스템은 이를 처리하는 방법을 배워야 합니다.
고속도로에서 빠르게 달리는 차량을 카메라가 장노출 이미지로 촬영하면 바퀴의 회전으로 인해 블러 현상이 '보인다'고 상상해 보세요. 교차로에서 차량이 앞을 가로지르는 경우에도 동일한 블러 현상이 나타납니다. 일부 센서에는 글로벌 셔터가 아닌 롤링 셔터가 있다는 추가적인 문제도 있습니다. 글로벌 셔터는 센서의 모든 픽셀이 정확히 동시에 노출되는 반면, 롤링 셔터 센서는 실제로 센서의 각 개별 픽셀 라인이 노출되는 데 약간의 시간 오프셋이 있습니다. 즉, 기본적으로 이미지의 상단과 하단이 실제로 정확히 동시에 촬영되지 않습니다. 또한 카메라의 롤링 셔터 효과는 에고 차량이나 물체 자체가 빠른 속도로 움직일 때 물체를 왜곡합니다. 예를 들어, 이미지의 상단과 하단의 노출 시간 차이로 인해 길가에 있는 교통 신호등이 늘어나거나 기울어진 것처럼 보일 수 있습니다.
이러한 뉘앙스를 정확하게 시뮬레이션하는 것은 매우 중요합니다. 카메라가 실제 세계에서 볼 수 있고 인식 시스템이 이에 대처해야 하기 때문입니다. 그렇지 않으면 AI 시스템을 학습시키는 데 사용되는 데이터가 너무 단순하여 오해의 소지가 있을 수 있기 때문입니다. 이 고도로 사실적인 엔지니어링 등급 시뮬레이션을 생성함으로써 모든 이미지에 이러한 뉘앙스가 있는 실제 데이터를 생성하는 데 대한 업계의 의존도를 크게 줄일 수 있습니다. 이를 위해 rFpro는 이제 센서의 각 노출 시간대에 대해 개별 레이 트레이스 이미지를 만들 수 있는 다중 노출 카메라 API를 도입했습니다. 이를 통해 시뮬레이션된 이미지에 물리적으로 모델링된 롤링 셔터 효과와 함께 빠른 차량 움직임이나 도로 진동으로 인한 정확한 블러링이 포함될 수 있습니다.
레이 트레이싱이 가장 효과적인 환경은 무엇인가요?
레이 트레이싱은 다중 경로 기술로서 센서 주변에서 발생하는 수많은 반사를 보다 안정적으로 시뮬레이션하므로 시간대나 주변 환경에 관계없이 모든 장면을 더 높은 수준의 정확도로 시뮬레이션할 수 있습니다. 즉, 가장 까다로운 저조도 시나리오나 여러 광원이 있는 환경도 이제 밝은 햇빛이 비추는 낮 장면만큼 정확하게 시뮬레이션할 수 있습니다. 리플렉션과 섀도우의 충실도가 크게 향상되었습니다. 가장 눈에 띄는 예로는 출구에 밝은 대낮의 조명이 있는 다층 주차장이나 조명이 켜진 터널, 여러 개의 가로등 아래 도심 야간 주행 등이 있습니다. 이러한 유형의 환경은 일반적으로 자율주행차가 가장 어려움을 겪는 곳입니다. 따라서 일반 도로가 아닌 이곳에서 시뮬레이션을 통해 엄격하고 정확하게 테스트할 수 있다는 것은 엄청난 이점이 있습니다.
이 기술의 실시간 제한 사항이 있나요?
다른 대체 기술과 달리 유니티의 레이 트레이싱 렌더링은 시뮬레이션된 씬의 모든 요소에 적용되며, 정확한 머티리얼 속성을 포함하도록 물리적으로 모델링되어 가장 충실도가 높은 이미지를 생성합니다. 이 과정은 연산이 많이 필요하기 때문에 실시간과 분리하여 필요한 디테일 수준에 맞게 속도를 늦추거나 높일 수 있습니다. 이를 통해 고충실도 렌더링을 수행한 다음 딥러닝 시스템의 훈련 데이터로 사용하거나 후속 실시간 실행에서 재생하여 개발된 인식 시스템을 테스트할 수 있습니다. 이를 통해 시뮬레이션을 실시간에 고정해야 할 때 렌더링 품질과 실행 속도 사이의 일반적인 트레이드오프 문제를 극복할 수 있습니다. rFpro가 새로운 기술을 구현한 방식에서 정말 좋은 점은 실시간 래스터화 엔진과 새로운 레이 트레이싱 엔진 간에 전환이 매우 쉽다는 것입니다. 최종 사용자는 테스트를 빠르고 효율적으로 설정하고 실시간으로 실행되는 특정 시나리오를 확인한 다음 레이 트레이싱 엔진을 활성화한 상태에서 테스트를 다시 실행하여 더 높은 충실도의 결과물을 얻을 수 있습니다. 최종 사용자는 준비된 환경이나 테스트 시나리오에 대해 아무것도 변경할 필요가 없습니다.
이 새로운 기술은 언제부터 고객에게 제공되나요?
새로운 레이 트레이싱 기능은 현재 기존 데스크톱 옵션을 보완하는 데 사용할 수 있으며, 고성능 컴퓨팅(HPC) 솔루션에서도 곧 제공될 예정입니다.
