Apriel Voice 27B가 음성 추론과 도구 호출을 한 모델로 묶는다

무엇인가

이 논문은 음성 비서가 단순히 말을 받아쓰는 것을 넘어 요청을 이해하고, 문맥에 대해 추론하며, 대화를 이어가고, 도구를 호출해 작업을 끝내야 한다고 본다. 기존의 ASR→LLM→TTS 캐스케이드나 대화 모델과 백엔드 추론 모델을 분리하는 구조 대신, Apriel Voice 27B Preview는 음성 이해·대화·추론·도구 호출 결정을 하나의 공유 백본에서 처리하려 한다. 출발점은 instruction-tuned Gemma 4 26B-A4B 체크포인트로, 총 파라미터 약 26B에 토큰당 약 4B가 활성화되는 MoE 모델이다. 텍스트와 이미지 입력은 유지하고, 음성 합성은 별도 구성요소로 두어 추론 백본을 다시 학습하지 않고 교체할 수 있게 했다.

어떻게 동작하나

구조에서 음성은 frozen Whisper large-v3-turbo 인코더로 1280차원 특징으로 바뀐다. 학습된 프로젝터는 인접한 8개 프레임을 묶어 10240차원으로 만든 뒤 선형층, SwiGLU, RMSNorm을 거쳐 디코더의 2816차원 임베딩 공간으로 사상한다. 이 프로젝터는 정확히 47,722,496개의 파라미터를 가진다. 투영된 음성 특징은 입력 시퀀스의 예약된 오디오 위치를 대체하고, 텍스트와 여러 오디오 구간이 섞인 문맥을 만들 수 있다. 이미지는 기존 비전 인터페이스를 그대로 통과하며, 출력 어휘도 그대로 사용해 음성 입력과 텍스트 입력이 같은 응답 형식과 도구 호출 형식을 낳게 한다.

무엇과 다른가

학습은 두 단계다. 1단계에서는 음성 인코더·언어 백본·비전 타워·비전 브리지를 동결하고 프로젝터만 학습한다. 다국어 전사, 번역, 연속 생성이 목표다. 18.17M 학습 예시, 1,164개 데이터셋 구성, 152개 이름을 사용했고, 두 에폭이 각각 32.2k시간 오디오를 덮는다. 원문 기준 405,931개 raw bin, 476,747개 effective bin, 99.2% 토큰 채움을 보고했으며, 에폭당 약 1.9367B 총 토큰과 631.7583M 손실 대상 토큰이 기여한다. 2단계에서는 프로젝터와 언어 백본, MoE 라우터까지 업데이트하고 음성 인코더와 원래 비전 구성요소는 동결한다. 세 에폭이 각각 61.5k시간 오디오와 텍스트를 포함하며, 총 17.5491B×3=52.6473B 토큰 노출과 약 7.88574B 손실 대상 토큰을 사용했다.

어떻게 쓰나

2단계의 핵심은 데이터 소스별로 CE와 forward KL을 선택하거나 조합하는 것이다. 손실은 α_d·L_CE + β_d·L_FKL로 정의되고, FKL은 고정된 원본 백본 교사의 응답 위치별 분포 p0와 학생 분포 pθ의 차이를 줄인다. 동일한 마스크와 정규화에서는 소프트 타깃 q=(1−λ)e_y+λp0, λ=β/(α+β)로 해석되며, 그래디언트는 α(pθ−e_y)+β(pθ−p0) 형태가 된다. 즉 CE는 정답 응답·추론·도구 행동을 가르치고, FKL은 선택된 음성 과제에서 교사 행동을 옮기거나 텍스트 리플레이에서 기존 능력의 변화를 제한한다. 대화 데이터는 사내에서 텍스트 상호작용을 먼저 만든 뒤 사용자 발화 일부를 참조 음성 TTS와 음성 복제로 오디오화해 구성한다. 시스템·어시스턴트·도구 메시지는 텍스트로 남기고, 자동 span 선택, 대화 내 동일 참조 음성, 소스 span 검증·발화형 판정·합성 후 인식 판정 같은 변환 충실도 검사를 적용한다. 다만 이런 검사가 작업 정답의 정확성까지 보장하지는 않는다고 밝힌다.

전제와 한계

음성 추론과 도구 호출 결과는 사고 모드에서 Big Bench Audio 98.90, BFCL 81.13, τ-Voice 평균 작업 성공률 65.51%, 평균 지연 1.91초다. τ-Voice의 항공·소매·통신 성공률은 각각 69.33%, 81.58%, 45.61%였고 평균 지연은 2.22초, 1.79초, 1.73초였다. 비교군으로 Gemini 3.8 Live Extended Thinking은 84.19% 성공에 1.50초, GPT-realtime-2.1은 69.82%에 1.55초를 기록했다. 오픈소스 2단계 기준 UltraVox-v0.6(Qwen)은 26.80%에 3.95초, Gemma4-12B-IT는 24.20%에 3.61초, Audex-30B-A3B는 17.15%에 2.83초였다. 3단계 캐스케이드인 Flux+Gemma4-26B는 65.92%에 2.92초, Parakeet+Gemma4-26B는 67.78%에 3.01초로, Apriel Voice는 비슷한 작업 완료율을 더 낮은 지연으로 보여주었다고 주장한다. 기초 음성 능력도 LibriSpeech test-clean 2.23 WER, test-other 5.15 WER, 인식 벤치마크 평균 12.61 WER을 보고했고, 독·프·스페인어→영어 번역 평균 BLEU 42.87, 스페인어→영어 최대 44.88 BLEU를 제시했다. 오디오 입력 IFEval은 86.47, MT-Bench는 86.19로 Gemma4-12B-IT의 81.96·83.94를 앞서고 UltraVox-v0.6(Qwen)의 78.9·89.44와 경쟁한다고 정리한다.

대화형 서비스 평가에서는 Cartesia Sonic 3.5 합성과 함께 EVA-A 51.27%, EVA-X 74.13%를 기록했다. Parakeet+Gemma4-26B의 39.97%·3.93%보다 높고, Gemini 3.8 Live Extended Thinking의 54.82%·73.5%에 근접한다는 설명이다. 639개 케이스에서 턴테이킹은 86.52%로 비교 기준 40.54%보다 높았고, 간결성은 86.80% 대 84.99%였다. 항공사 정확도 59.3%·경험 66.7%, ITSM 48.7%·85%, 헬스케어 HR 45.8%·70.7%를 보고했으며, 음성 충실도 98.89%와 응답 충실성 43.49%도 함께 제시했다. 텍스트·이미지 유지 평가에서는 사고 모드 평균으로 MMLU-Pro 84.42, GPQA Diamond 80.40, AIME 2024 92.00, AIME 2025 81.67, MATH-500 92.88, AMC 2023 100.00을 기록했다. τ²에서는 GPT-5.2 사용자 시뮬레이터로 사고 70.95%, 비사고 49.14%를 냈고 Gemma 참조는 68.93%·53.23%였다. EnterpriseOps-Gym oracle에서는 작업 성공 23.0%, 검증기 성공 57.6%로 Gemma의 22.7%·57.8%와 비슷했다. 이미지에서는 MMMU-Pro가 Gemma 70.23에서 Apriel Voice 69.88로, MathVision MINI가 64.14에서 67.10으로 바뀌었고, 9개 점수 중 3개는 높고 6개는 낮았다.

실무적으로 이 모델은 음성 이해·추론·도구 호출 결정을 하나의 백본에 두고, 도구 실행과 결과 반환은 애플리케이션이 맡으며, 응답 텍스트는 별도 음성 합성기로 보내는 구조를 원할 때 참고할 만하다. 논문은 커스텀 서빙 플랫폼과 실시간 API, WebSocket 기반 벤치마크 통합을 언급한다. 도입 전에는 사고 모드와 비사고 모드의 차이를 확인해야 한다. 원문에 따르면 일부 인식·함수 호출 과제는 비사고 모드가 더 높고, 추론 모드 선택은 과제에 따라 달라진다. EVA 수치는 Cartesia Sonic 3.5 합성을 사용한 조건이고, 내부·공개 결과의 프롬프트·언어 범위·출력 양식·추론 예산·판정 방식이 다를 수 있으므로 표의 숫자를 그대로 동일 조건 비교로 읽으면 안 된다. 한국어 성능과 라이선스 조건은 원문에 수치나 설명이 제시되지 않았다.

저자들이 밝힌 한계는 분명하다. 이 모델은 영어 음성 이해·추론·지시 수행을 우선하며, 다국어 능력과 평가는 제한적이고 주로 자동 음성 번역으로 평가했다. 영어 성능이 다른 언어의 동등한 품질을 의미하지 않고 다국어 견고성도 고르지 않다고 인정한다. 내부·공개 결과는 프롬프트, 언어 범위, 출력 모달리티, 추론 예산, 판정, 작업 한도가 달라 집계 점수가 유의성이나 출발 백본 대비 비열등성, 모든 프런티어 시스템에 대한 통제된 순위를 입증하지 않는다. 합성 생성과 증류는 잘못된 타깃이나 교사 예측을 전파할 수 있고, 변환 충실도 검사는 오류를 놓칠 수 있으며 자연 음성 변이를 모두 덮지 못한다. 동결된 비전 구성요소도 업데이트된 디코더를 거치면서 이미지 추론이 그대로 유지된다고 보장하지 않으며, 다른 백본 계열로의 전이는 검증되지 않았다. 평가는 결합된 레시피를 측정할 뿐 개별 데이터나 감독 선택의 인과적 기여를 분리하지 못하므로 통제된 ablation이 필요하다고 남겨 두었다.