엔비디아 코스모스, 테슬라의 리드에 따라 합성 훈련 데이터 제공

2025년 가전제품박람회에서 Nvidia는 새로운 소비자용 그래픽 카드, 가정용 컴퓨팅 머신, 상용 AI 제품을 선보였습니다. 이러한 제품 중 하나에는 새로운 Nvidia Cosmos 훈련 시스템이 포함되었습니다.

Nvidia는 Tesla의 긴밀한 파트너로, 실제로 Tesla가 FSD를 훈련하는 데 사용하는 GPU인 H100과 곧 출시될 H200을 생산하고 공급하며, 이 제품은 새로운 Giga Texas의 Cortex 슈퍼컴퓨팅 클러스터에 있습니다. 엔비디아는 또한 자율 주행 시스템을 위한 합성 훈련 데이터를 개발하고 배포하는 데 있어서 테슬라의 선두에 도전할 것입니다. 테슬라는 이미 이를 하고 있습니다.

그러나 이는 다른 제조업체에게 훨씬 더 중요합니다. 우리는 엔비디아가 무엇을 제공하고 있는지, 그리고 테슬라가 이미 하고 있는 것과 어떻게 비교되는지 살펴보겠습니다. 저희는 테슬라의 FSD가 작동하는 방식, 테슬라가 FSD를 간소화하는 방법, 그리고 가장 최근에는 FSD를 최적화하는 방법에 대해 심층적으로 살펴보았습니다. 용어와 배경 지식에 대해 조금 알고 싶다면 계속하기 전에 해당 문서를 읽어보는 것이 좋지만, 이 모든 합성 데이터가 어떻게 작동하는지 최선을 다해 설명하겠습니다.

Nvidia Cosmos

Nvidia의 Cosmos는 로봇과 자율 주행차를 포함한 물리적 AI 시스템의 개발을 가속화하기 위해 만들어진 생성 AI 모델입니다. 기억하세요 - Tesla의 FSD는 휴머노이드 로봇인 Optimus에 사용된 소프트웨어와 동일합니다. Nvidia는 Tesla와 마찬가지로 집, 거리 또는 직장 등 어디에서나 AI의 물리적 실제 배포를 해결하고자 합니다.

Cosmos는 실제 비디오에서 학습하고 시뮬레이션된 비디오 입력을 구축하는 물리 인식 엔진입니다. 데이터를 토큰화하여 AI 시스템이 더 빨리 학습할 수 있도록 돕고, 이는 모두 시스템에 입력된 비디오를 기반으로 합니다. 익숙한 내용인가요? FSD도 정확히 이와 같은 방식으로 학습합니다.

Cosmos는 센서 융합 시뮬레이션을 수행할 수 있는 기능도 있습니다. 즉, 비디오, LiDAR, 오디오 또는 사용자가 의도한 다른 여러 입력 소스를 가져와 AI 모델이 학습할 수 있는 단일 세계 시뮬레이션으로 융합할 수 있습니다. 이를 통해 안전하고 합성적인 형식으로 자율 주행차 동작을 훈련, 테스트 및 검증하는 동시에 방대한 양의 데이터를 제공할 수 있습니다.

데이터 스케일링

물론 Cosmos 자체에도 비디오 입력이 필요합니다. 더 많은 비디오를 입력할수록 더 많은 시뮬레이션을 생성하고 실행할 수 있습니다. 데이터 스케일링은 AI 애플리케이션에 필수적입니다. 무한한 양의 데이터를 입력하여 스스로를 훈련할 무한한 양의 시나리오를 구축해야 하기 때문입니다.

합성 데이터에도 문제가 있습니다. 실제 데이터일까요? 실제 상황을 예측할 수 있을까요? 2024년 초, 엘론 머스크 댓글 이 문제에 대해 언급하면서, 데이터는 실제 세계와 시뮬레이션 데이터에서 모두 무한히 확장된다고 언급했습니다. 테스트 데이터를 수집하는 더 나은 방법은 실제 세계 데이터를 통하는 것입니다. 결국 어떤 AI도 아직 실제 세계를 예측할 수 없습니다. 사실, 이는 뛰어난 양자 컴퓨팅 문제이며, 현재 가장 뛰어난 두뇌들이 연구하고 있습니다.

테슬라의 AI 팀 엔지니어인 윤타 차이는 또한 코드를 작성하거나 시나리오를 생성하는 것만으로는 가장 거친 AI 환각조차도 다룰 수 없다고 언급했습니다. AI가 개발하는 엄격한 훈련 세트에서 반드시 의미가 없는 광학 현상과 실제 상황이 많으므로, 실제로 유용한 실제 AI를 훈련할 수 있는 시스템을 구축하려면 실제 데이터가 절대적으로 필수적입니다.

테슬라는 훈련에 사용할 수 있는 수십억 마일의 실제 비디오를 보유하고 있습니다. 테슬라의 소셜 미디어 팀장 Viv에 따르면 이렇게 많은 데이터가 필수적인 이유는 오늘날에도 FSD가 '에지 케이스'에 직면해 있기 때문입니다. 혼란스럽게 하거나, 속도를 늦추거나, 계속할 수 없게 만들거나, 사용자에게 인수하라고 말하는 무서운 붉은 손을 내밀 수 있습니다.

Cosmos는 걷기와 물체 조작과 같은 인간 활동을 포함하여 약 2천만 시간의 영상으로 훈련되었습니다. 반면, Tesla의 함대는 수집 ap분당 약 2,380분의 실제 세계 비디오가 녹화됩니다. 140시간마다 - 6일에 약간 못 미치는 - 테슬라의 차량은 2,000만 시간의 영상을 수집합니다. 그것은 60mph의 평균 속도로 계산된 간단한 수학 계산이었습니다.

생성적 세계

테슬라의 FSD와 엔비디아의 코스모스는 모두 매우 사실적이고 물리 기반 세계를 생성할 수 있습니다. 이러한 세계는 실제와 같은 환경이며 사람과 교통의 움직임과 연석, 울타리, 건물 및 기타 물체를 포함한 장애물과 물체의 실제 위치를 시뮬레이션합니다.

Tesla는 실제 세계 데이터와 합성 데이터를 조합하여 사용하지만, 데이터 조합은 실제 세계 데이터에 크게 가중치를 둡니다. 한편, Cosmos를 사용하는 회사는 데이터를 합성적으로 생성된 상황에 크게 가중치를 두어 훈련 데이터 세트에서 볼 수 있는 사례의 종류를 크게 제한할 것입니다.

따라서 생성 세계는 AI를 빠르게 검증하는 데 유용할 수 있지만, 이러한 세계는 AI를 훈련하는 데 실제 세계 데이터만큼 유용하지 않다고 주장합니다.

전반적으로 Cosmos는 흥미로운 단계입니다. 다른 회사도 Tesla의 발자취를 분명히 따라가고 있지만, 실제 세계 데이터에서는 엄청나게 뒤처져 있습니다. 테슬라는 AI와 자율 주행 분야에서 선점자로서 엄청난 우위를 점했고, 다른 회사들은 이제 따라잡기 위해 노력하고 있습니다.

테슬라가 데이터 라벨링을 위한 Dojo 슈퍼컴퓨터를 앞으로 배치하여 기존 우위를 어떻게 확장할지, Cortex가 어떻게 확장할지, 그리고 경쟁자들이 어떤 것을 가져올지 기대됩니다. 결국 경쟁은 혁신을 낳고, 이것이 테슬라가 처음부터 EV 분야에서 혁신을 이룬 방식입니다.

추천 코드(nuno84363)를 사용하여 새 테슬라에서 최대 2,000달러 할인을 받고 3개월 동안 FSD를 무료로 받는 것을 고려해보세요.