CoSTA가 음성 대화 모델의 생성과 합성 토큰 공간을 분리한다

무엇인가

이 논문은 음성 대화 모델이 자기회귀 생성과 음성 합성에 같은 음성 토큰 공간을 공유해 시퀀스가 길어지고 추론 비용이 커지는 문제를 다룬다. 낮은 토큰 레이트의 토크나이저를 쓰는 방법은 시퀀스를 줄일 수 있지만 압축과 품질의 절충이 생기고, 기존 모델의 토크나이저와 디코더를 교체하려면 토크나이저, 짝을 이루는 음성 디코더, 대화 모델을 함께 재학습하거나 적응시켜야 한다. 더 근본적으로 그 방법도 생성과 합성을 같은 표현에 묶어 둔다. 저자들은 기존 음성 토크나이저와 디코더를 유지하면서 자기회귀 생성에 쓰는 토큰 공간과 합성에 필요한 토큰 공간을 분리할 수 있는지 묻고, 그 답으로 CoSTA를 제안한다.

어떻게 동작하나

핵심 관찰은 기존 토크나이저가 만든 음성 토큰 시퀀스에 반복 패턴이 많아 BPE로 손실 없이 압축할 수 있다는 점이다. 여기서 손실 없음은 오디오 자체의 무손실이 아니라 토큰 분할이 가역적이라는 뜻이다. 원래 음성 토큰 어휘를 S, BPE 확장 어휘를 Z라 할 때 인코더 B는 원래 시퀀스 s를 압축 시퀀스 z로 만들고, 결정적 확장 함수 π는 z를 다시 s로 복원한다. 압축률 ρ는 압축 시퀀스 길이를 복원된 원래 시퀀스 길이로 나눈 값이며, 낮을수록 같은 합성 입력을 만들기 위해 필요한 자기회귀 단계가 적다. 저자들은 10K에서 320K까지 추가 BPE 단위를 늘리며 8개 토크나이저 설정의 중국어 대화 음성에서 ρ가 log2 M에 대해 대략 선형으로 감소하는 경험적 규칙성을 보고한다. 이 log-linear 모델은 8개 설정에서 R²가 0.98 이상이었고, 데이터 소스와 언어를 바꿔도 R²가 0.994 이상이었다. 이 관찰이 생성 토큰 공간과 합성 토큰 공간을 분리하는 설계로 이어진다.

무엇과 다른가

CoSTA는 기존 대규모 음성 대화 모델을 사후 적응시키는 호환성 보존 프레임워크다. 먼저 모델 어휘에 BPE 단위를 추가하되, 추가 단위 z의 확장이 원래 토큰 s1부터 sk까지라고 할 때 임베딩과 LM-head 행을 해당 원래 토큰 행들의 평균으로 초기화한다. 기존 어휘 파라미터는 바꾸지 않는다. 다음으로 압축된 TTS 데이터에서 발음 적응을 수행한다. 목표 시퀀스의 텍스트 토큰은 그대로 두고 음성 토큰만 BPE로 압축해 자기회귀 손실을 학습한다. 이때 첫 50% 데이터에서는 임베딩과 LM-head만 학습하고, 나머지 50%에서 중간 모델 층을 추가로 푼다. 마지막으로 압축된 음성 대화 데이터에서 대화 적응을 수행하며, LLM 파라미터만 업데이트하고 음성 인코더, 어댑터, 음성 디코더는 고정한다. 추론 시에는 모델이 확장 어휘에서 텍스트와 음성 토큰을 생성하고, 음성 토큰 스트림에만 결정적 확장 π를 적용한다. 원래 토큰은 그대로 두고 추가 BPE 단위만 원래 토큰 시퀀스로 펼친 뒤, 변경되지 않은 음성 디코더에 넣어 파형을 합성한다. 따라서 합성 인터페이스는 유지하면서 생성 단계 수를 줄인다.

어떻게 쓰나

실험은 8B Step-Audio 2 mini와 25Hz S3Tokenizer V2를 사용한다. 발음 적응에는 Emilia에서 중국어와 영어 각 300시간을 샘플링하고 Seed-VC로 음색을 통일했으며, 대화 적응에는 OpenS2S를 따라 언어별 약 50K 음성 대화 예제를 구성하고 CosyVoice 2로 일관된 음성의 assistant 발화를 합성했다. BPE 어휘는 대화 음성 토큰 시퀀스에서 학습하고 80K 추가 단위를 사용했으며, 어휘 확장은 원래 모델 파라미터의 약 6%에 해당하는 임베딩과 LM-head 행만 추가한다. 비교 대상은 원래 Step-Audio 2 mini와 같은 적응 데이터 및 학습 설정을 쓰되 원래 음성 토큰을 유지한 Vanilla-FT-ZH/EN/MIX다. 평가는 URO-Bench의 12개 데이터셋에서 중국어와 영어 정렬 설정, 요약, 수학 및 상식 추론, 개방형 대화, 실제 대화를 포함해 수행했다. 효율 지표로 생성 토큰 압축률 ρ_g, 확장 음성 토큰 생성 속도, 원래 모델 대비 상대 속도를 보고하고, 시스템 수준에서는 AlpacaEval-zh와 AlpacaEval에서 동시성 1, 4, 8의 평균 전체 응답 지연, 요청 처리량, 최대 GPU 메모리를 측정했다.

전제와 한계

주요 결과로 CoSTA-ZH는 ρ_g가 66.81%, 상대 속도가 1.736배였고 CoSTA-EN은 ρ_g가 70.17%, 상대 속도가 1.659배였다. CoSTA-MIX도 비슷한 개선을 보인 반면 Vanilla-FT는 ρ_g가 100%로 거의 그대로였다. 시스템 수준에서는 기준 모델 대비 중국어에서 전체 응답 지연을 32.8%에서 39.0% 줄였고 영어에서 22.4%에서 26.0% 줄였다. 처리량은 중국어에서 51.6%에서 59.2%, 영어에서 25.8%에서 38.6% 증가했으며, 테스트한 모든 설정에서 같은 데이터로 학습한 Vanilla-FT보다 좋았고 최대 추가 최대 GPU 메모리는 0.68GiB였다. 품질 평가에서는 CoSTA가 Vanilla-FT보다 G-Eval을 개선하고 ASR-CER/WER을 크게 낮추었으며 UTMOS는 비슷했다. 사람 평가에서도 중국어와 영어 모두 기준 모델과 Vanilla-FT 대비 승리 또는 무승부 비율이 음성 유창성 86.1%에서 96.1%, 의미 품질 83.3%에서 87.7%였다.

절제 실험에서 대화 적응의 영향이 가장 컸다. 이를 제거하면 G-Eval이 72.27에서 24.35로 급락해, 압축된 발음만 학습해서는 음성 대화 능력을 회복하기 어렵다는 점을 보여준다. 음색 변환은 주로 응답 품질에 도움이 되고, 점진적 적응은 압축 토큰 생성에 소폭 기여하며, 발음 적응은 압축과 텍스트-음성 정렬을 강화한다. 평균 기반 초기화는 대안보다 더 빠른 수렴과 안정적인 그래디언트를 보였다. 제한 예산 상호작용 분석에서는 AlpacaEval-zh와 AlpacaEval의 질의를 10개씩 묶어 중국어 14개, 영어 19개 세션을 만들었을 때 CoSTA가 중국어와 영어에서 각각 7.21턴과 5.79턴의 유효 턴을 유지한 반면 Vanilla-FT는 3.71턴과 1.84턴이었다. 어휘 크기 분석에서는 추가 어휘를 10K에서 80K로 늘리면 압축과 디코딩 속도가 크게 개선되고 품질도 유지되었지만, 160K로 늘리면 ρ_g가 67.50%에서 63.62%로 줄고 속도 이득은 1.1%에 그쳤으며 G-Eval은 81.36에서 78.87로 떨어졌다. 다른 구조인 OpenS2S의 12.5Hz GLM-4-Voice 토크나이저와 디코더에서도 CoSTA는 중국어와 영어에서 음성 토큰 단계를 각각 21.17%와 18.64% 줄이고 응답 내용 품질과 텍스트-음성 정렬을 개선했으며 UTMOS는 비슷하게 유지했다.

개발자 관점에서 CoSTA는 기존 음성 대화 모델의 토크나이저와 디코더를 교체하지 않고 자기회귀 음성 토큰 생성 비용을 줄이고 싶을 때 유용한 선택지다. 다만 BPE 어휘는 대상 언어와 대화 음성 토큰 분포에서 학습해야 하고, 추가 어휘 80K는 이 논문의 설정에서 고른 절충점이므로 자신의 모델과 도메인에서 다시 확인해야 한다. 발음 적응과 대화 적응 데이터, 점진적 학습 절차, 확장 토큰과 원래 디코더 토큰의 정확한 대응 관계가 필요하며, 추론 시 결정적 확장이 스트리밍 생성과 디코더 입력에 맞는지 검증해야 한다. 시스템 이득은 vLLM 기반 단일 A100 80GB 측정에서 나온 것이므로 실제 서빙 환경의 동시성, 메모리, 출력층 오버헤드, 도메인 품질을 별도로 평가해야 한다.

저자들이 밝힌 한계는 분명하다. 대화 적응 데이터가 합성 음성 대화 예제로 구성되어 있어 실제 음성 대화 데이터와의 차이가 남는다. 압축 방법으로는 결정적이고 손실 없으며 통합하기 쉬운 BPE를 택했을 뿐, 다른 가역 음성 토큰 분할 전략은 비교하지 않았다. 평가도 일반적인 음성 대화와 효율에 초점을 맞추었기 때문에 감정 대화, 개인화된 말투, 다양한 음향 환경 같은 세밀한 시나리오로 확장하려면 추가 검증이 필요하다.