Tesla의 FSD 작동 방식 - 2부
지난 11월에 Tesla의 특허를 기반으로 FSD 작동 방식에 대해 자세히 살펴본 적이 있으며, 최근 Tesla는 FSD 훈련 관련 특허를 추가로 출원한 상태입니다.
이 특정 특허의 제목은 <#x0000201c;자율주행을 위한 3차원 특징 예측”이며, 나머지 FSD가 의사 결정을 내리고 환경을 탐색할 수 있도록 하는 기준 진실을 확립하기 위해 Tesla Vision을 사용하는 데 관한 것입니다.
이 특허는 기본적으로 FSD가 주변 환경의 모델을 생성한 다음 해당 정보를 분석하여 예측을 생성하는 방법을 설명합니다.
시계열
시간에 따른 데이터 시퀀스(시계열)를 생성하는 것은 FSD가 환경을 이해하는 방법의 기초가 됩니다. Tesla Vision은 차량 내부 센서(속도, 가속도, 위치 등)와 결합하여 시간에 따른 데이터 포인트를 설정합니다. 이러한 데이터 포인트가 모여 시계열을 생성합니다.
이 시계열을 분석하여 시스템은 도로, 도로의 특징 및 차량 주변의 사물에 대한 매우 정확하고 정밀한 표현인 <#x0000201c;ground truth;>를 설정합니다. 예를 들어, FSD는 차량이 시간에 따라 이동함에 따라 다양한 각도와 거리에서 차선을 관찰하여 차선의 정확한 3D 모양을 파악할 수 있습니다. 이 시스템은 FSD가 전진할 때 일관된 진실을 유지하도록 도와주며, 처음에는 숨겨져 있거나 불분명했던 주변 공간의 사물 위치도 파악할 수 있습니다.
흥미롭게도 Tesla의 특허는 실제로 Tesla Vision 이외의 센서 사용에 대해 언급하고 있습니다. 레이더, LiDAR 및 초음파 센서에 대한 언급이 이어집니다. Tesla는 더 이상 레이더(현재 Model S 및 Model X에 HD 레이더가 장착되어 있음)나 초음파 센서를 사용하지 않지만, 훈련용으로 LiDAR를 사용합니다.
그러나 이 LIDAR 사용은 FSD를 위한 정확한 센서 데이터를 설정하기 위한 훈련 목적입니다. 실제로 어떤 Tesla 차량도 LiDAR 센서와 함께 제공되지 않습니다. Tesla의 LIDAR 훈련 장비에 대한 자세한 내용은 여기에서 확인할 수 있습니다.
실측 데이터 연결
실측 데이터가 설정되면 시계열 내의 특정 시점(일반적으로 단일 이미지 또는 이미지 집합의 합쳐진 이미지)에 연결됩니다. 이러한 연결은 매우 중요하며, 이를 통해 시스템은 단 하나의 스냅샷으로 환경의 전체 3D 구조를 예측할 수 있습니다. 또한 FSD가 주변 환경을 이해하는 데 도움이 되는 학습 도구 역할도 합니다.
FSD가 시계열 데이터를 사용하여 차선의 정확한 곡선을 알아냈다고 가정해 보겠습니다. 그런 다음 이 지식을 차선이 표시된 시퀀스의 특정 이미지에 연결합니다. 그런 다음, 정확한 곡선과 이미지 시퀀스 및 데이터 등 학습한 내용을 적용하여 향후 차선의 3D 모양을 예측합니다.
이 부분은 특허의 일부가 아니지만, 이러한 예측 지식을 정확하고 효과적인 지도 데이터와 결합하면 FSD가 도로의 구조를 더 잘 이해하고 미리 기동을 계획할 수 있다는 의미입니다. FSD가 매핑 정보를 고려한다는 것은 알고 있습니다. 그러나 실측 도로 정보를 우선적으로 고려합니다. 매핑은 결국 맥락일 뿐입니다.
그렇기 때문에 이전에 4지 정류장이 있던 위치에 로터리를 설치하는 등 도로 매핑이 잘못되어도 FSD는 교차로를 통과할 수 있습니다.
3차원 특징
시스템이 포착하는 특징을 3D로 표현하는 것도 필수적입니다. 즉, 이전 예시를 계속하려면 차선이 위아래, 좌우, 시간에 따라 움직여야 합니다. 이러한 3D 이해는 특히 커브, 언덕 또는 다양한 지형이 있는 도로에서 정확한 내비게이션과 경로 계획에 필수적입니다.
자동화된 훈련 데이터 생성
이 전체 3D 시스템의 주요 장점 중 하나는 훈련 데이터를 자동으로 생성한다는 점입니다. 차량이 주행하면서 센서 데이터를 수집하고 실측 데이터와 관련된 시계열을 생성합니다.
테슬라가 차량에서 데이터를 업로드하고 슈퍼컴퓨터로 분석할 때 정확히 이 작업을 수행합니다. 머신 러닝 모델은 얻은 모든 정보를 사용하여 예측 기능을 개선합니다. Tesla는 이제 데이터에 수동으로 라벨을 붙일 필요성을 없애고 대신 AI로 데이터에 자동으로 라벨을 붙이고 있습니다.
이 특허는 또한 우리 AI 라벨링 특허에서 다룬 주제인 시맨틱 라벨링의 사용에 대해서도 논의하고 있습니다. 하지만 간단히 핵심만 요약하면, Tesla는 시계열을 통해 생성된 3D 환경에 따라 차선을 <#x0000201c;왼쪽 차선> 또는 <#x0000201c;오른쪽 차선>으로 라벨링합니다.
또한 차량 및 기타 물체에도 <#x0000201c;병합> 또는 <#x0000201c;절단>과 같은 라벨을 붙일 수 있습니다.이러한 모든 자동화된 레이블은 FSD가 정보를 분석하는 방법과 주변 환경이 무엇을 할 것으로 예상하는지 우선순위를 정하는 데 도움이 됩니다.
테슬라의 데이터 업로드가 모든 것을 포착하는 것은 아니지만, FSD V13.2.2를 받은 후 필자의 Cybertruck에서 1.28TB라는 놀라운 데이터를 끌어오기도 했습니다. 이는 트리거에 따라 선택적인 센서 정보를 전송하는 것을 기반으로 합니다. 이러한 트리거에는 잘못된 예측, 사용자 개입 또는 경로 계획 실패 등이 포함될 수 있습니다.
테슬라는 또한 차량 유형과 위치에 따라 특정 차량의 모든 데이터를 요청할 수 있으므로 최초의 캐나다 사이버트럭 중 하나에서 1.28TB라는 터무니없는 요청을 할 수 있습니다. 이를 통해 Tesla는 특정 주행 시나리오에서 데이터를 수집할 수 있으며, 이를 통해 더 많은 상황에 적응할 수 있는 더 나은 모델을 구축하는 동시에 데이터 수집에 집중하여 학습을 더욱 효율적으로 수행할 수 있습니다.
작동 방식
모든 것을 정리하면, 모델은 예측을 적용하여 환경을 더 잘 탐색합니다. 이 모델은 시간이 지남에 따라 수집된 데이터를 사용하여 차량 주변의 3D 환경에 캡슐화합니다. 이 3D 환경을 사용하여 Tesla의 FSD는 전방 환경이 어떻게 보일지에 대한 예측을 공식화합니다.
이 프로세스는 FSD가 실제로 의사 결정을 내리는 데 필요한 컨텍스트의 상당 부분을 제공합니다. 하지만 FSD라는 양파에는 몇 가지 레이어가 더 있습니다.
다른 레이어 추가
나머지 의사 결정 프로세스는 도로의 움직이는 물체와 정지한 물체를 이해하고 취약한 도로 사용자의 위험을 식별하고 줄이는 데 있습니다. Tesla의 3D 매핑은 또한 다른 움직이는 물체의 경로를 식별하고 예측하여 경로 계획을 수행할 수 있습니다. 이는 이 특정 특허의 일부분은 아니지만 전체 시스템에 필수적인 요소입니다.
이 모든 기술 정보가 흥미롭다면 Tesla의 특허에 대한 나머지 시리즈를 확인해 보시기 바랍니다.
FSD 작동 방식 2부(이 기사)
테슬라의 특허는 FSD가 실제로 커튼 뒤에서 어떻게 작동하는지 설명하는 독특하고 흥미로운 자료를 제공하기 때문에 계속해서 자세히 살펴볼 것입니다. 자동차에서 의사 결정을 내리는 실리콘 두뇌를 들여다볼 수 있는 좋은 기회일 뿐만 아니라 Tesla의 엔지니어들이 실제로 FSD를 어떻게 구성하는지 볼 수 있는 기회이기도 합니다.
향상된 Tesla NACS 지원을 추가하는 Apple 지도 
