엔비디아가 40개 언어 받아쓰는 오픈 모델 네모트론 3.5를 내놨다

엔비디아가 음성 전사 모델 네모트론 3.5 트랜스크라이브(Nemotron 3.5 Transcribe)를 공개했다. 무료로 쓸 수 있는 오픈 가중치 모델이며, 최대 40개 언어의 오디오를 텍스트로 바꾼다. 같은 시점에 자사 음성 데이터셋 그라너리(Granary)의 2버전도 오픈소스로 함께 풀렸다.

규모는 300억 파라미터다. 한 번에 최대 1시간 분량의 녹음을 처리하고, 한 파일 안에서 최대 8명의 화자를 구분해 낸다. 영어를 기준으로 31개 언어의 양방향 번역도 붙는다. 허깅페이스의 오픈 ASR 리더보드를 포함한 여러 벤치마크에서 경쟁 모델들을 앞선다는 것이 엔비디아의 설명이다.

주목할 지점은 구동 환경이다. 300억 파라미터급 모델을 단일 칩에서 돌린다는 전제로 내놨다. 로보틱스 컨트롤러인 젯슨 AGX 토르(Jetson AGX Thor), 새 노트북에 들어가는 DGX 스파크, 데이터센터용 블랙웰 칩까지 같은 모델이 올라간다. 11억 파라미터의 초소형 모델 파라켓(Parakeet)과 함께 엔비디아의 오픈 가중치 음성 모델 계열을 이룬다.

타깃은 비즈니스 회의록과 의료 전사다. 두 영역은 생성형 AI가 사내 업무에 가장 먼저 침투한 분야로 꼽힌다. 엔비디아는 이번 모델과 그라너리 2 데이터셋, 자사 NeMo Speech 도구를 조합하면 언어별로 산업 전문용어를 인식하도록 앱을 커스터마이징할 수 있다고 안내한다. 범용 모델이 놓치는 현장 어휘를 자체 데이터로 보강하는 시나리오다.

음성 모델 출시가 몰리는 시점이기도 하다. 이번 달 미스트랄이 Voxtral 3를 내놨고, 일레븐랩스는 음성 에이전트용 실시간 발화 기능 Realtime을 선보였다. 세일즈포스도 자체 음성 모델 Launa-Omni를 공개했다. 텍스트 모델 경쟁이 어느 정도 정리된 자리에서 음성 인식·합성이 다음 격전지로 옮겨가는 흐름이다.

개발자 입장에서 실무 변화는 배포 선택지다. 그동안 고성능 전사 모델은 대형 GPU 서버나 클라우드 API를 전제로 했다. 단일 칩 구동이 실제로 성립한다면 온프레미스나 엣지단에서 민감한 회의·진료 녹음을 외부로 내보내지 않고 처리할 수 있다. 여기에 최대 8인 화자 분리가 기본으로 들어가면서 화자별 발언을 분리하는 회의록 파이프라인 구현 부담이 줄어든다. 그라너리 2가 함께 공개된 점도 의미가 있다. 자체 녹취 데이터가 부족한 팀이 공개 데이터로 사전학습이나 도메인 적응을 시도할 발판이 생긴다.

한계도 분명하다. 이 모델은 저장된 녹음 파일을 처리하며 실시간 스트리밍은 지원하지 않는다. 통화 중 실시간 자막이나 음성 에이전트의 즉시 응답처럼 지연에 민감한 기능에는 쓸 수 없다는 뜻이다. 벤치마크 우위 역시 자사가 제시한 수치이므로, 실제 도입 전에는 자신의 언어·도메인 데이터로 직접 검증하는 편이 안전하다.