엔비디아 코스모스, 월드모델 학습·평가·배포 도구 확장

엔비디아 코스모스 새 도구 발표

엔비디아가 코스모스 플랫폼을 확장해 월드모델을 빠르게 만들기 위한 학습 도구, 시뮬레이션 체크포인트, 코스모스 데이터 팩토리 블루프린트를 공개했다. 월드모델은 물리 AI 시스템이 현실을 이해하고 시뮬레이션하도록 돕는 모델로, 엔비디아는 데이터 준비부터 학습·적응·최적화·배포 전 테스트까지 이어지는 도구 묶음을 내세웠다. 회사는 코스모스 플랫폼이 6개 오픈 모델 리더보드에서 톱5에 올랐다고 밝혔다.

GTC 베를린에서 엔비디아는 코스모스 프레임워크의 학습·최적화·배포 도구와 레시피를 에이전트 스킬로 더 많은 오픈 모델에 확장하고 코스모스 3을 함께 제시했다. GR00T, Alpamayo, QWEN, Pi0.5와 호환 Hugging Face 모델을 파인튜닝·강화학습으로 적응시키고, 증류·양자화로 최적화한 뒤 고성능 추론으로 배포할 수 있다는 설명이다. 이는 새 모델을 처음부터 학습하지 않아도 기존 오픈 모델을 현장 요구에 맞게 조정하는 경로를 강조한 구성으로 읽힌다.

이번 발표의 대상은 자체 월드모델을 만들려는 개발자와 로봇·자율주행·산업 검사 팀이다. 이들에게 필요한 작업은 모델 구조를 고르는 일만이 아니라 데이터를 모으고 라벨을 정리하며, 학습된 모델을 시뮬레이션 환경에서 반복 검증하고 배포 전 위험을 줄이는 일까지 포함한다. 엔비디아는 이 흐름을 개별 도구의 나열이 아니라 하나의 플랫폼 경험으로 묶어 제시하려는 것으로 보인다.

핵심은 모델 하나를 추가한 것이 아니라 데이터, 학습, 평가, 배포를 한 플랫폼 안에서 연결했다는 점이다. 데이터 준비 단계에서 어떤 입력과 라벨을 쓸지 정하고, 학습·적응 단계에서 파인튜닝과 강화학습을 적용하며, 최적화 단계에서 증류·양자화로 모델 크기와 추론 부담을 조정하는 흐름이 한 도구 묶음에 놓인다. 원문에 직접 언급은 없지만, 이는 개별 모델 성능보다 파이프라인 전체의 속도와 재현성을 겨냥한 행보로 읽힌다.

코스모스 데이터 팩토리 블루프린트

코스모스 데이터 팩토리는 물리 AI 학습에 필요한 라벨링, 큐레이션, 증강, 평가를 대규모로 처리하는 도구 모음이다. GPU 가속 영상 학습 데이터 큐레이션 솔루션인 코스모스 큐레이터는 멀티모달·멀티센서 입력과 처리 블록 지원을 추가했다. 이는 카메라 영상만이 아니라 여러 센서가 결합된 데이터를 다루는 월드모델 개발을 겨냥한다. 데이터 팩토리의 역할은 원본 데이터를 그대로 학습에 투입하는 것이 아니라, 학습 목적에 맞게 정리하고 보강하며 품질을 점검하는 과정을 체계화하는 데 있다.

데이터 팩토리는 다섯 가지 클라우드 네이티브 블루프린트를 제공한다. 자율주행 데이터셋 생성, 이미지 속성 증강, 이벤트 영상 생성, 결함 이미지 생성, 영상 데이터 증강이다. 자율주행 블루프린트는 주행 데이터를 큐레이션·라벨링한 뒤 포착하기 어려운 상황의 합성 예시를 더해 학습 범위를 넓히는 용도로 설명된다. 각 블루프린트는 서로 다른 데이터 병목을 다루지만, 공통적으로 실제 수집만으로는 충분히 확보하기 어려운 장면과 조건을 학습 데이터로 끌어오는 데 초점을 둔다.

이 블루프린트는 GitHub, Microsoft Azure, Nebius, CoreWeave에서 사용할 수 있다. 이미지 속성 증강은 객체 외형을 바꿔 이미지 검색을 개선하고, 이벤트 영상 생성은 정지 이미지를 희귀하거나 안전하지 않은 사건의 합성 영상으로 바꾼다. 결함 이미지 생성은 PCB·금속·유리 결함 이미지를 만들어 검사 모델에 쓰고, 영상 데이터 증강은 장면 구조를 유지한 채 날씨와 조명을 바꾼다. 이처럼 블루프린트는 학습 데이터의 양을 늘리는 것과 동시에 특정 조건에서 모델이 놓치기 쉬운 사례를 드러내는 방식으로 활용될 수 있다.

데이터 팩토리를 사용하는 팀은 원본 데이터의 수집·정리, 합성 데이터의 생성, 검증과 평가를 한 흐름 안에서 다뤄야 한다. 블루프린트가 제공되더라도 어떤 장면을 증강하고 어떤 라벨을 유지할지에 대한 판단은 사용자 몫으로 남는다. 따라서 도구의 편의성만큼 중요한 것은 생성된 데이터가 실제 현장의 분포와 목표 과업을 얼마나 잘 반영하는지 확인하는 절차다.

코스모스 월드모델 경쟁 구도

월드모델은 물리 AI가 현실을 이해하고 시뮬레이션하도록 돕지만, 학습에는 다중센서 데이터와 희귀·위험 상황 예시가 필요하다. 실제 도로에서 사고를 반복 재현하거나 공장에서 액체 유출을 일부러 만들기는 비용과 안전 문제가 커서 합성 데이터와 큐레이션 도구의 수요가 생긴다. 엔비디아는 이 병목을 데이터 팩토리와 사전학습 모델, 최적화 도구로 묶어 공략한다. 이는 데이터가 부족한 영역을 단순히 양으로 채우는 것이 아니라, 학습과 평가에 필요한 조건을 통제하려는 접근으로 볼 수 있다.

원문에 직접 경쟁사 이름은 없지만, 6개 오픈 모델 리더보드 톱5와 Hugging Face 호환 모델 지원은 개방형 모델 생태계에서 채택을 넓히려는 움직임으로 읽힌다. 개발자는 이미 쓰는 오픈 모델을 코스모스 프레임워크로 적응시킬 수 있어 새 아키텍처를 처음부터 만드는 부담을 줄일 수 있다. 반대로 엔비디아의 도구 체인과 클라우드 파트너에 의존하는 범위가 커질 수 있다. 편의성과 통합성은 도입 장점이지만, 장기적으로는 운영 주권과 비용 구조를 함께 살펴야 하는 이유가 된다.

물리 AI에서는 데이터가 곧 안전성과 직결된다. 희귀 사고와 결함을 합성으로 보강하면 테스트 범위를 넓힐 수 있지만, 합성 데이터가 실제 분포를 대표하지 못할 경우 모델이 현장에서 다른 실패를 보일 수 있다. 특히 자율주행과 산업 로봇은 실제 환경의 예외 상황이 안전 문제로 이어질 수 있어, 학습 데이터의 다양성과 함께 평가 시나리오의 타당성이 중요해진다.

이번 발표가 데이터 품질과 평가 기준을 얼마나 투명하게 제공하는지가 채택의 관건이 된다. 사용자는 합성 데이터가 어떤 목적에서 만들어졌고, 어떤 기준으로 검증되며, 배포 전 테스트에서 어떻게 활용되는지 확인해야 한다. 월드모델 경쟁이 모델 크기나 리더보드 순위만으로 판가름되기 어렵다면, 데이터 파이프라인과 재현 가능한 평가가 실제 도입을 가르는 요소가 될 가능성이 크다.

코스모스 데이터 팩토리 적용 사례

포르셰는 폭스바겐 그룹 브랜드의 공유 자율주행 데이터 플라이휠을 이끌며 Microsoft Azure의 Voxel51을 통해 코스모스 데이터 팩토리를 사용한다. 엔비디아는 이 방식이 반복 실차 시험을 최대 90% 줄이고 개발 주기를 최대 85% 단축할 것으로 기대한다고 밝혔다. 다만 이 수치는 고객 적용을 통한 기대치이지 독립 검증된 일반 성능은 아니다. 이 사례는 데이터 팩토리가 자율주행 개발에서 실제 주행 데이터를 정리하고 보강하는 데 어떻게 연결될 수 있는지를 보여주는 예로 읽어야 한다.

ANYbotics는 코스모스 데이터 팩토리 블루프린트로 1,500개 이상의 합성 영상 클립을 만들고 Encord 플랫폼으로 출력을 검증해 산업 점검 로봇이 액체 유출과 시설 방문 사이 변화를 인식하도록 학습했다. Ultralytics는 실제 이미지와 표적 합성 결함을 함께 써 YOLO 모델을 재학습해 결함 위치 추정과 재현율을 개선했다. 두 사례는 합성 데이터가 로봇의 현장 인식과 제조 검사 모델의 학습에 어떻게 쓰일 수 있는지 보여주며, 동시에 생성된 출력에 대한 별도 검증 절차가 필요하다는 점을 시사한다.

ADNOC은 코스모스와 Metropolis VSS 블루프린트로 만든 Fogsphere MistIQ를 65개 현장의 실시간 안전 위험 탐지에 사용하고, 희귀 이벤트용 합성 데이터도 코스모스 데이터 팩토리로 생성한다. 이는 카메라와 영상 분석 기반 안전 모니터링에서 실제로 발생 빈도가 낮은 위험 장면을 학습 데이터로 보강하려는 활용으로 볼 수 있다. 현장 안전은 놓친 이벤트의 비용이 크기 때문에, 합성 데이터의 품질과 알림 신뢰성을 어떻게 관리하는지가 중요한 쟁점이 된다.

이 사례들은 코스모스가 연구용 모델 생성에 그치지 않고 데이터 라벨링, 합성 영상, 결함 검사, 현장 안전 모니터링에 쓰이는 방식을 보여준다. 자율주행·로봇·제조 검사 팀은 실제 촬영이 어려운 장면을 합성으로 보강해 학습 데이터 수집 비용을 줄일 수 있다. 다만 고객사별 성과는 데이터 규모와 검증 방식에 따라 달라질 수 있으므로, 제시된 기대 수치를 모든 조직에 그대로 적용되는 성능으로 해석해서는 안 된다.

코스모스 학습·최적화·배포 변화

개발자는 자체 아키텍처를 학습하거나 사전학습 모델에서 시작할 수 있다. 코스모스 프레임워크는 파인튜닝과 강화학습, 증류와 양자화, 고성능 추론 배포를 연결하는 모듈형 도구·스킬을 제공한다. 이는 모델을 한 번 학습해 끝내는 방식이 아니라, 현장 데이터에 맞춰 적응시키고 추론 환경에 맞게 최적화한 뒤 실제 서비스나 장비에 배포하는 전체 주기를 염두에 둔 구성이다.

MicroAGI는 사람이 물체를 조작하는 영상으로 코스모스 3을 후학습시키고 320억 파라미터 리즈너를 정확도 손실 없이 80억 파라미터 나노 모델로 증류했다고 밝혔다. 코스모스 3 NIM 마이크로서비스는 검증된 구성에서 품질 손실 없이 최대 2배 빠른 추론을 제공하며, 연속 영상 분석으로 1초 미만 알림을 가능하게 한다고 한다. 이 사례는 대형 모델을 현장 요구에 맞게 조정하고, 더 작은 모델과 배포용 서비스로 이어가는 경로를 보여준다.

Metropolis VSS 3.3은 코스모스 NIM 기반으로 하나의 프롬프트를 영상 AI 앱으로 바꾸고 같은 GPU로 40% 더 많은 영상 스트림을 모니터링하도록 돕는다. 로보플로우에서는 데이터 라벨링과 코스모스 3 후학습을 거쳐 호스팅 또는 온프레미스 NVIDIA GPU에 배포해 공장·창고의 영상 추론을 구현할 수 있다. 이는 학습 도구와 배포 도구가 분리되지 않고, 데이터 준비부터 현장 추론까지 이어지는 흐름으로 제시된다는 점을 보여준다.

새로운 코스모스 3 나노 모델 변형은 시뮬레이션에서 자율주행 정책과 양팔 로봇 정책을 반복 가능한 다중뷰·다중센서 시나리오로 시험하도록 돕는다. 함께 제공되는 코드로 개발자는 실제 테스트 전에 상호작용 시뮬레이션에서 자신의 정책을 학습·평가하도록 모델을 적응시킬 수 있다. 이는 배포 전 검증 단계를 줄이려는 팀에 실질적인 변화다. 다만 시뮬레이션 결과가 실제 환경을 대신하지는 않으므로, 검증된 구성과 현장 적용 조건을 구분해 해석할 필요가 있다.

코스모스 반론과 지켜볼 한계

원문은 가격, 일반 제공 일정, 전체 모델 목록, 독립 벤치마크, 오류율과 컴퓨팅 비용을 제공하지 않는다. 포르셰의 90%·85%, ANYbotics의 1,500개 클립, MicroAGI의 무손실 증류, NIM의 2배 추론은 모두 엔비디아 또는 고객이 제시한 사례·기대치로 읽어야 한다. 특히 검증된 구성이라는 조건과 실제 현장 데이터 분포가 다를 때 성능이 달라질 수 있다. 도입 판단에는 제시된 수치 자체보다 어떤 조건에서 그 수치가 나왔는지가 중요하다.

코스모스 플랫폼이 모듈형이고 개방적이라고 해도, 클라우드 파트너와 NIM 마이크로서비스, 프레임워크를 함께 쓰는 팀은 운영 복잡성과 비용을 새로 따져야 한다. 데이터 팩토리와 학습 도구를 도입하면 기존 파이프라인과의 연동, 권한과 보안, 모델 버전 관리, 배포 환경별 최적화 같은 운영 과제가 생길 수 있다. 도구가 많아질수록 초기 구축은 쉬워질 수 있지만 장기 운영의 책임 소재는 더 명확히 해야 한다.

합성 데이터가 늘어날수록 라벨 품질과 평가 설계가 약해지면 오히려 잘못된 학습이 확대될 수 있다. 안전이 중요한 자율주행·산업 로봇에서는 벤더의 성능 주장만으로 도입을 결정하기 어렵다. 합성 데이터가 실제 희귀 사건을 대표하는지, 증강 과정에서 장면 구조와 라벨이 유지되는지, 배포 후 오류가 어떤 기준으로 모니터링되는지까지 확인해야 한다.

원문에 직접 언급은 없지만 다음 분기에는 블루프린트의 실제 상용 배포 수, 독립 재현 결과, 클라우드별 가격과 지원 지역, 안전·규제 요구가 붙은 현장의 승인 사례를 확인할 필요가 있다. 월드모델의 평가 기준이 공개 리더보드와 고객 사례에 머무는 동안에는 도입 효과를 낙관적으로만 해석하기 어렵다. 따라서 코스모스 확장은 가능성과 함께 검증 부담을 함께 제시한 발표로 봐야 한다.

자주 묻는 질문

관련 기사

• 엔비디아, 앤트로픽 클로드 데이터센터 대출 보증 검토
• 엔비디아 RTX Spark 노트북, AI 에이전트·게임 기능 확대
• 챗GPT 이후 오픈모델로 유럽 유통 바꾸는 엔비디아
• NVIDIA Earth-2, 유럽 기상 예보에 오픈 모델 배치

출처

NVIDIA 원문

원문 확인 2026-10-22