테슬라, FSD 시각화 개선을 위해 언리얼 엔진으로 전환

테슬라의 최신 펌웨어 빌드 중 일부에서 은밀하게 진행된 것으로 보이는 기술적 변경 사항이 발견되었는데, 이는 테슬라의 향후 계획을 보여주는 좋은 지표입니다. 오랜 기간 테슬라 해커로 활동해 온 Greentheonly 에 따르면, 테슬라는 새로운 엔진을 사용하여 오토파일럿과 FSD 시각화를 업데이트할 준비를 조용히 시작했습니다.

이 기능은 아직 활성화되지 않았지만, MCU 3(AMD)가 탑재된 Model S 및 Model X 차량용 펌웨어에 이미 포함되어 있습니다. 테슬라는 오픈소스 Godot 엔진을 비디오 게임 업계에서 가장 인기 있고 강력한 엔진 중 하나인 Unreal Engine으로 대체하고 있습니다.

그렇다면 향후 업데이트에서 무엇을 기대할 수 있는지, 그리고 어떤 차량에 업데이트가 적용될 것으로 예상되는지 자세히 살펴보겠습니다.

언리얼은 더욱 강력하고 유능합니다

테슬라의 현재 FSD 시각화는 가볍고 오픈 소스이며 효율적인 것으로 잘 알려진 고도 엔진을 기반으로 합니다. 즉, 오늘날 시각화에서 볼 수 있는 대부분 단순하지만 기능적인 차량 모델과 사물을 표현하기에 완벽합니다.

언리얼 엔진으로 전환하면 여러 가지 이유로 훨씬 더 세밀한 시각화가 가능해질 것으로 예상됩니다. 고도 엔진도 매우 뛰어난 성능을 자랑하지만, 언리얼 엔진은 세계적인 수준의 고충실도 그래픽 엔진으로, 사실적인 환경을 기반으로 AAA 비디오 게임을 제작하는 데 탁월한 성능을 발휘합니다. 물론 성능 저하가 따르지만, 테슬라는 차량의 시각화와 맵을 크게 개선할 계획이 아니라면 언리얼 엔진으로 전환하지 않을 것입니다.

새로운 비주얼이 실제로 적용됨

언리얼 엔진의 힘은 오토파일럿과 FSD 시각화를 넘어 그 영역을 확장할 것으로 보입니다. 새로운 기능에 대한 첫 번째 힌트는 이미 펌웨어에 포함되어 있으며, 그린은 아래 영상에서 언리얼 엔진에서 실행되는 더욱 세부적인 차량 모델을 활성화하는 모습을 보여주었습니다.

이 새로운 모델은 현재 버전보다 더 매끄럽고 조명이 더 밝아 보입니다. 테슬라가 소규모로 시작하여 새로운 시각화 작업에 집중하기 전에 기존 모델과 오브젝트를 언리얼 엔진에 추가한 것은 놀라운 일이 아닙니다. 이 기능이 출시되면 더욱 사실적인 조명을 통해 현재 시각화보다 더 깔끔하고 매끄럽게 구현될 것으로 예상됩니다.

알겠습니다. 클러스터에서 언리얼 엔진을 활성화하는 데 약간 문제가 있지만, 메인 화면에서는 자동차 아바타도 언리얼 엔진으로 제어되는 것 같습니다.
이제 여러분은 그것과 상호작용할 수 있고, 좀 더 세부적으로 설명될 것입니다.
예를 들어 보세요: pic.twitter.com/6lpXr6BK0K

개선된 시각화

2022년, 머스크는 당시 트위터에 테슬라가 차량 시각화에 3D 지형을 추가할 계획이라고 게시했습니다. 사이버트럭의 시각화에서 이러한 시도의 가능성을 엿볼 수 있는데, 주차 시 3D 지형을 표시하는 기능이지만, 실제 주변 환경을 반영하지는 않습니다.

현재 FSD와 차량이 인식하는 물체는 많지만 시각적으로 표시되지 않습니다. 가장 흔한 물체는 과속 방지턱과 교통 콘이지만, 차량이 그 물체의 종류와 처리 방법을 알고 있음에도 불구하고 표시되지 않는 물체도 많습니다. 테슬라는 시각적인 부분을 천천히 개선해 왔지만 , 마지막 개선이 1년도 더 전이었기에 이미 이 새로운 엔진을 개발 중인 것으로 보입니다.

리비안 역시 언리얼 엔진을 사용하여 시각화합니다. 리비안은 셀 셰이딩 시각화를 통해 좀 더 만화적인 느낌을 선호하는 반면, 테슬라는 더욱 사실적이면서도 간결한 접근 방식을 취했습니다. 테슬라의 시각화에서 테슬라 차량은 매우 세밀하게 표현된 반면, 다른 차량과 사물들은 세밀함이 떨어지고 단순한 흰색/회색 톤으로 표현됩니다. 단, 운전자의 주의를 끌 필요가 있는 경우에는 파란색, 빨간색 또는 짙은 회색으로 표현됩니다.

테슬라는 모든 데이터를 시각화하기보다는 사용자에게 중요할 수 있는 부분, 예를 들어 움푹 패인 곳, 도로 잔해, 도로 표지판 등을 시각화하고 싶어할 것입니다. 실제로, 가드레일, 유모차, 쇼핑 카트, 트레일러, 게이트, 더욱 정교해진 횡단보도, 그리고 나무나 인도와 같은 다른 요소들을 포함하여 시각화에 추가하여 사용자 경험을 향상시킬 수 있는 잠재적인 객체 목록이 매우 많습니다.

실제로 테슬라는 곧 트레일러에 대한 적절한 시각화를 표시 할 예정이며, 사이버트럭을 디스플레이에 표시할 수도 있다고 이미 밝혔습니다. 테슬라가 언리얼 엔진에 이러한 기능을 추가하기 위해 작업 중인 것으로 보입니다.

3D 지도

또 다른 흥미로운 가능성은 3D 지도 추가 입니다. Google Maps와 Apple Maps는 오랫동안 나무와 주변 건물을 3D로 보여주는 3D 시각 자료를 제공해 왔습니다. Tesla는 교통량, 지도 타일, 관심 지점 등의 내비게이션 데이터를 Google API에 크게 의존하고 있기 때문에 Google Maps와 매우 유사한 방식으로 내비게이션에 3D 객체를 추가하는 방안을 검토하고 있을 가능성이 있습니다.

3D 지도는 보기에 환상적일 뿐만 아니라 운전자가 화면상의 시각 정보와 실제 지도를 쉽게 비교할 수 있으므로 지도에서 방향을 더 잘 잡는 데 도움이 됩니다.

현실주의를 통한 신뢰 구축

대대적인 시각화 그래픽 업그레이드의 핵심 이점은 운전자의 신뢰를 구축할 수 있다는 것입니다. FSD의 성능이 대폭 향상되었음에도 불구하고, 사이버트럭처럼 우주선 같은 차량을 운전하든, 새롭게 단장한 모델 Y를 운전하든 시각화는 여전히 시대에 뒤떨어진 느낌을 줍니다.

이로 인해 전반적인 운전 경험이 저하됩니다. 특히 FSD v12 출시 이후 시각화에서 교통 콘이나 바리케이드 같은 요소가 누락된 것을 고려하면 더욱 그렇습니다. 현재 v12.6.4와 v13.2.9에서는 MCU2(Intel)든 MCU3(AMD)든 디스플레이가 거의 동일하게 보입니다. AMD 인포테인먼트 유닛의 성능이 훨씬 더 뛰어나지만 말입니다. 시각적인 면에서 몇 가지 차이점이 있다면 흐릿한 효과와 AMD 차량에서 차량 유리가 더 투명하고 사실적으로 보이는 것입니다.

오늘날의 시각화를 통해 우리는 주변의 차량과 교통 상황을 놀라울 정도로 정확하게 추적할 수 있습니다. 하지만 이러한 시각화에는 몇 가지 문제점이 있습니다. 크기가 변할 때 물체가 깜빡거리거나 끊기는 현상이 발생하고, 트럭이나 트레일러와 같은 물체는 때때로 이상하게 움직이며, 도로 위의 장애물은 표시되지 않습니다. 이러한 시각화는 운전자에게 차량이 무엇을 보고 이해하는지 알려주는 중요한 역할을 합니다. 차량에 교통 콘이 표시되지 않으면 많은 사람들이 차량이 아무것도 보지 못했다고 생각할 것이고, FSD(교통 정보 시스템)가 제대로 작동하지 않을 수 있습니다.

강력한 3D 엔진을 통해 테슬라는 주변 환경을 훨씬 더 충실하게 화면에 렌더링할 수 있게 될 것입니다. 차량의 실제 크기에 맞춰 늘어놓은 모델이 아니라, 주변 차량의 더욱 정확하고 상세한 3D 모델을 보는 것을 상상해 보세요. 테슬라는 다양한 크기의 차량 모델을 추가하거나, 리무진과 트럭을 적절하게 전시할 수 있도록 적절하게 늘릴 수 있는 모델을 제작할 잠재력을 가지고 있습니다.

테슬라는 단순히 시각화에 새로운 모델을 추가하는 것이 아니라, 전체적인 경험을 다시 생각하고 있는 것 같습니다.

이런 시각적 효과를 기대하지는 않지만, AI가 생성한 이 영상은 무엇이 가능한지 흥미롭게 보여줍니다. 테슬라는 시각적 효과를 최대한 정확하게 유지할 것으로 예상되므로, 정확하게 표시되지 않는 물체는 표시하지 않을 것입니다. 또한 운전자의 주의를 산만하게 하는 요소를 최소화하기 위해, 운전자에게 도움이 되는 물체만 표시될 것으로 예상됩니다. 장애물과 같은 물체는 도움이 될 수 있지만, 잔디나 정교한 트럭은 그렇지 않을 수 있습니다.

언리얼 엔진 UI로 FSD를? 기대돼요. ???????????? @elonmusk ???? pic.twitter.com/w7UunsBEhu

하드웨어 요구 사항

Godot 엔진의 장점 중 하나는 매우 가볍다는 점이었습니다. 언리얼 엔진으로의 전환으로 테슬라는 시각화 기능을 구동할 더 강력한 인포테인먼트 장치가 필요하게 되므로, AMD 기반 차량에서만 사용할 수 있을 것으로 예상됩니다. 안타깝게도 인텔 차량은 현재 사용 중인 시각화 기능을 그대로 사용할 것으로 보입니다. 테슬라는 새로운 MCU에 대해 언급하지 않았지만, MCU 3는 이미 4년 이상 지난 제품이므로 , 테슬라는 향후 새로운 인포테인먼트 장치, 특히 쉽게 업그레이드할 수 있는 장치를 고려할 가능성이 있습니다.

새로운 언리얼 엔진 바이너리는 펌웨어 2025.20 이상에서 발견되었지만, 외장 GPU가 포함된 AMD 기반 모델 S와 모델 X에만 적용되었습니다. 하지만 이러한 시각화 작업에 외장 GPU가 반드시 필요한 것은 아닙니다.

결국 언리얼 엔진으로의 전환은 현재 진행 중인 작업으로 보이며, 테슬라도 적극적으로 작업하고 있는 것으로 보입니다. 다음 UI 개편이나 올해 연말 업데이트에서 이 기능을 볼 수 있을 가능성이 있습니다.