엔비디아가 120B 오픈 멀티모달 Nemotron 3.5 Super VL을 공개했다

엔비디아가 Nemotron 3.5 Super VL을 공개했다. 1200억 개 파라미터를 가진 오픈 멀티모달 모델로, 텍스트와 이미지, 문서, 영상을 함께 다루면서 백그라운드에서 오래 돌아가는 기업용 에이전트를 겨냥한다. 가중치뿐 아니라 학습 데이터셋과 레시피도 같이 풀린다.

구조는 전문가 혼합(MoE) 방식이다. 1200억 개 파라미터 중 토큰마다 실제로 활성화되는 것은 120억 개다. Mistral AI, Thinking Machines Lab, Perplexity, Black Forest Labs 등이 참여한 Nemotron Coalition과 함께 개발했다.

함께 나오는 소형 모델 두 종이 실무적으로 더 눈에 띈다. Nemotron 3.5 Bolt 74B-A9B 24GB는 740억 개 가운데 90억 개만 활성화하는 하이브리드 MoE로, 가중치를 2비트까지 압축해 24GB 메모리 환경에서 로컬 에이전트 작업을 돌리는 것이 목표다. 코드 작성과 디버깅, PC 부품 호환성 확인 같은 일상적인 다단계 작업을 처리한다. 더 작은 Bolt E4B 4GB는 음성 비서와 대화형 캐릭터, 기기 인터페이스를 겨냥하며 이번 달 안에 뒤따라 나온다.

성능 주장의 핵심은 증류다. 자사 최대 추론 모델인 Nemotron 3 Ultra에서 Super VL을 증류해, 약 5분의 1 파라미터로 Ultra에 맞먹는 정확도를 내는 것이 목표라고 한다. 지시 수행, 도구 호출, 다단계 업무 처리, 이미지 분석 같은 에이전트 작업에서 Hermes와 LangChain 테스트 점수는 오히려 Ultra를 앞섰고, 코딩 벤치마크인 SWE-bench와 Terminal-Bench에서는 이전 세대 Nemotron 3 Super를 넘어섰다. 코딩 벤치마크 정확도 자체는 경쟁 모델보다 조금 낮은 대신 작업 완료 속도가 4배 빠르다는 설명이다. 단일 GPU에서 비슷한 크기 오픈 모델 대비 최대 5배 처리량을 낸다는 수치도 붙었다. EXO Labs가 DGX Spark에서 따로 돌린 테스트에서는 더 정확하면서 동시에 더 빠른 모델이 없었다고 한다. 다만 Artificial Analysis 전체 순위에서는 선두 폐쇄형 모델들에 크게 뒤진다.

추론 비용을 깎는 장치도 여러 겹이다. 자체 4비트 NVFP4 포맷으로 압축해 Blackwell GPU에서는 모델 전체를 4비트 정밀도로 돌리고, 구형 카드에서는 가중치만 4비트로 저장한 뒤 연산은 16비트로 처리한다. 민감한 부분은 더 높은 정밀도를 유지하며, 압축본이 원본의 출력을 그대로 재현하도록 학습시켰다. 토큰을 미리 제안하는 드래프트 구성요소를 두고 본 모델이 한 번의 순전파로 검증하는 방식도 들어갔는데, DGX Spark에서는 드래프트 토큰을 한꺼번에 평가하는 LiLiCorr 방식을 권장하며 텍스트 생성이 최대 2.3배 빨라진다고 한다. 에이전트는 매 요청마다 같은 지시문과 도구 설명, 대화 이력을 다시 보내므로 이 부분을 캐시하고, 추론 소프트웨어 Dynamo가 같은 세션의 요청을 해당 캐시를 들고 있는 GPU로 라우팅한다. B200 16장 기준으로 동시 사용자 8배, 첫 토큰까지 걸리는 시간 85% 감소라는 결과가 나온다.

비전 쪽은 사무실에서 실제로 마주치는 자료에 초점을 맞췄다. OCR, 표, 차트, 여러 페이지짜리 문서, 영상을 다루며 별도 이미지 모델 없이 차트를 같은 문서 안의 표와 연결해 함께 요약할 수 있다. 차트 벤치마크 CharXiv에서 80.8%를 기록해 이전 Nemotron 3 Nano Omni의 63%를 크게 앞섰고, 파이썬 코드까지 실행할 수 있을 때는 84%로 올라간다. OCRBench v2 리더보드에서는 상위권 오픈 모델군에 이름을 올린다.

배경에는 엔비디아의 라인업 전략이 있다. Nemotron 계열에는 처리량을 앞세운 Lightning(지난 8월 공개)과 어려운 추론을 담당하는 Ultra가 이미 있고, 모든 변형이 자사 하드웨어에 맞춰 최적화된다. 데이터셋과 학습 레시피를 공개하면서도 결국 자사 칩과 시스템 판매를 밀어주는 구조인 셈이다. 커스터마이징용으로는 NeMo 프레임워크와 파이썬 파이프라인, 오픈 데이터셋을 제공한다. 자체 데이터로 파인튜닝해 자기 서버에서 돌리려는 수요, 예컨대 보험사의 실시간 보험금 사기 탐지나 금융사의 자체 기준 신용 평가 같은 사례를 겨냥한다.

개발자 입장에서 달라지는 지점은 두 갈래다. 서버 쪽에서는 오픈 가중치와 압축·캐싱 최적화가 결합해 같은 GPU로 더 많은 동시 세션을 감당할 수 있는 선택지가 생겼다. 로컬 쪽은 여전히 하드웨어 문턱이 높다. Bolt 74B-A9B가 요구하는 24GB 메모리는 값비싼 상위 GPU나 워크스테이션에서나 나오는 수치라, 당분간은 개발자와 고성능 장비 보유자를 위한 모델에 가깝다. 지원 범위는 RTX Spark와 DGX Spark(최대 128GB 공유 메모리), GeForce RTX PC, DGX Station, RTX PRO 워크스테이션이며 llama.cpp, Ollama, LM Studio, vLLM에서 돌아간다. 도입 사례로는 Scale AI가 미디어 기업 Skydance의 벤더 크레딧 처리 에이전트에 이 모델을 적용해 비용이 40분의 1, 응답 시간이 5분의 1로 줄 것으로 본다고 하고, Ramp는 영수증 사진을 구조화 데이터로 바꾸는 작업에 써서 응답이 10배 빨라질 것으로 기대한다.

주의할 전제도 분명하다. 공개된 수치는 대부분 엔비디아 자체 측정이거나 자사가 인용한 리더보드 결과이고, 전체 순위에서 최전선 폐쇄형 모델과의 격차는 여전히 크다. 4GB Bolt E4B는 아직 나오지 않았고, 로컬 에이전트를 제대로 돌리려면 결국 엔비디아 하드웨어 조합이 필요하다는 점도 감안해야 한다.