일레븐랩스가 실시간 음성 대화용 음성-음성 모델 두 종류를 공개했다

일레븐랩스가 실시간 AI 대화를 겨냥한 음성-음성(speech-to-speech) 모델 두 종류를 'Eleven Realtime'이라는 이름으로 내놨다. 음성을 텍스트로 바꿨다가 다시 음성으로 합성하는 우회 없이, 입력 음성을 곧바로 출력 음성으로 변환하는 계열이다. 큰 모델과 작은 모델을 함께 공개해 정확도가 중요한 용도와 비용이 중요한 용도를 나눠 겨냥한다.

가장 눈에 띄는 쪽은 v1 Max다. 자사 발표 기준으로 음성 벤치마크인 Big Bench Audio에서 98.8%를 기록했고, 응답 시간은 0.57초로 제시됐다. 일레븐랩스는 Artificial Analysis의 음성 대화 리더보드에서 이보다 빠르면서 동시에 정확한 모델이 현재 없다고 주장한다. 리더보드에서 정확도와 지연시간을 함께 놓고 봤을 때 좌상단, 즉 '빠르고 정확한' 영역에 위치한다는 설명이다.

v1 Mini는 역할이 다르다. 더 작은 모델로 비용을 낮추면서 자연스러운 대화 흐름을 만드는 데 초점을 맞췄다. 특히 상대가 말을 끝낸 것인지, 아니면 "mm-hmm" 같은 맞장구만 한 것인지를 구분해낸다고 한다. 음성 에이전트에서 끼어들기와 대기 타이밍을 잘못 잡으면 대화가 어색해지는데, 이 판단을 모델이 직접 처리하는 셈이다. 반대로 v1 Max는 고객 응대처럼 문맥이 복잡하고 정확도가 중요한 작업을 겨냥한다.

배경에는 실시간 음성 인터페이스 경쟁이 있다. 음성 에이전트를 만들 때 흔히 쓰는 방식은 음성 인식, 언어 모델, 음성 합성을 순서대로 연결하는 파이프라인인데, 단계마다 지연이 쌓여 대화가 끊기는 느낌을 준다. 음성-음성 모델은 이 중간 단계를 줄여 응답 시간을 앞당기려는 접근이다. 여기에 발화 종료 판별처럼 대화 운영에 필요한 요소를 모델 안으로 끌어들이는 흐름도 함께 읽힌다.

개발자 입장에서 실질적인 변화는 접근 경로다. 두 모델 모두 ElevenAgents 플랫폼과 OpenAI 호환 Realtime API를 통해 쓸 수 있다. 기존에 OpenAI Realtime API 규격으로 음성 에이전트를 만들어 둔 팀이라면 연결 대상만 바꿔 비교 실험을 해볼 수 있다는 뜻이다. 과금은 분당 요금에 토큰 비용을 더하는 구조이며, v1 Max가 v1 Mini보다 비싸다. 세부 단가는 일레븐랩스 가격 페이지에서 확인해야 한다.

주의할 점도 있다. 98.8%와 0.57초는 자사가 제시한 수치이고, 리더보드상 우위 역시 회사 측 주장이므로 실제 서비스 환경에서의 체감은 별개일 수 있다. 또 Max와 Mini의 가격 차이가 존재하는 만큼, 단순 안내나 짧은 응답에는 Mini를, 상담처럼 문맥 파악이 필요한 곳에는 Max를 두는 식으로 용도를 나눠 검토하는 편이 현실적이다.