StyleStream 2.0이 스트리밍 음성 스타일 변환을 520ms로 단축한다

무엇인가

이 논문은 음성 스타일 변환(VSC)에서 입력 발화의 언어 내용은 유지하면서 화자 음색, 억양, 감정을 목표 목소리에 맞추는 문제를 다룬다. StyleStream 1.0은 스트리밍 제로샷 VSC를 처음 보였지만 소비자 하드웨어에서 약 1초 지연이 있었고, 목표 목소리를 참조 발화로만 지정해야 했다. 2.0은 지연을 줄이면서 자연어 프롬프트로 목소리를 설계하거나 특정 속성만 편집하는 인터페이스를 추가하는 것을 목표로 한다. 텍스트 제어는 나이, 성별, 억양, 감정 네 축에 집중한다.

어떻게 동작하나

구조는 StyleStream 1.0의 Destylizer-Stylizer 2단계를 계승한다. Destylizer는 1.0 것을 그대로 재사용하는데, 동결된 HuBERT-Large 뒤에 6개 conformer 블록을 두고 FSQ 코드북 크기 45와 transformer ASR 디코더를 붙여 시퀀스-투-시퀀스 ASR 손실로 학습한다. 추론 때는 FSQ와 ASR 디코더를 버리고 FSQ 직전의 연속 특징을 50Hz 콘텐츠 특징으로 쓴다. Stylizer는 콘텐츠 특징과 스타일 임베딩을 mel 스펙트로그램으로 매핑하고, 인과적 Vocos 기반 보코더가 파형을 만든다. 2.0은 1.0의 mel 스펙트로그램 문맥을 제거해 목표 스타일이 오직 스타일 임베딩 하나로 표현되게 했고, TDNN 스타일 인코더를 perceiver-resampler 인코더로 교체했다. 새 인코더는 동결된 WavLM base-plus의 12개 레이어 출력을 시간축으로 이어 붙인 뒤 학습 가능한 쿼리로 압축하고 MLP로 스타일 임베딩을 만든다.

무엇과 다른가

지연 감소의 핵심은 few-step pixel MeanFlow(pMF) Stylizer와 자기회귀 미세조정이다. pMF는 선형 보간 경로 z_t=(1-t)x+tε에서 순간 속도 ε-x를 정의하고, MeanFlow처럼 구간 [r,t]의 평균 속도 u를 학습한다. 평균 속도와 순간 속도는 v=u+(t-r)d/dt u 관계로 연결되며, 네트워크는 속도 대신 x에 가까운 양을 예측한 뒤 평균 속도로 변환한다. CFG 증류를 위해 guidance scale ω를 입력받고, 조건부·비조건부 속도 차이를 반영한 목표 속도로 학습한다. 추론에서는 ω를 직접 주고 샘플링 스텝당 모델 평가를 한 번만 한다. 이어 Self Forcing에서 착안한 자기회귀 미세조정으로 청크 단위 추론에 적응한다. 발화를 청크로 나눠 순차 롤아웃하고, 생성된 과거 mel 프레임을 고정 길이 문맥으로 넣으며, 미래 콘텐츠 특징은 제한된 lookahead로 제공한다. 손실은 현재 청크에만 적용하고 과거 생성 청크는 detach한다. 추론에서도 링 버퍼로 과거 mel과 콘텐츠 특징을 유지해 같은 절차를 반복한다.

어떻게 쓰나

텍스트 제어를 위해 Voice Controller라는 텍스트 조건부 DiT를 스타일 임베딩 공간에서 학습한다. 목표 스타일 임베딩에 노이즈를 더해 패치 토큰으로 만들고, 같은 패치 레이아웃의 보조 임베딩을 채널축으로 결합한다. 음성 디자인에서는 보조 입력이 학습된 null 임베딩이고, 음성 편집에서는 원본 스타일 임베딩을 패치화한 것이 보조 입력이다. 텍스트 프롬프트는 동결된 Flan-T5 인코더로 인코딩해 cross-attention으로 주입한다. 이 하나의 모델이 자연어 프롬프트로 새 스타일 임베딩을 만드는 음성 디자인과, 기존 발화 임베딩을 지시문에 따라 특정 속성만 바꾸는 음성 편집을 함께 지원한다.

전제와 한계

VSC 실험은 영어 Emilia 약 5만 시간으로 Stylizer를 학습하고, ESD, GLOBE-test, LibriTTS-test-clean에서 뽑은 300개 소스 발화와 ESD, RAVDESS, GLOBE-test, L2-ARCTIC의 10개 타깃 발화를 조합한 3000쌍으로 평가한다. 타깃은 5개 감정과 5개 억양을 포괄한다. 비교 대상은 CosyVoice 2.0, CosyVoice 3.0, Vevo, Vevo 2.0, StyleStream 1.0이며, Vevo 2.0은 Whisper-large-v3를 붙인 ASR+TTS 캐스케이드로 실행했다. 오프라인에서 StyleStream 2.0은 S-SIM, A-SIM, S-SMOS, E-SMOS에서 1위를 포함해 전반적 타깃 스타일 유사도가 가장 강했고, NMOS는 통계적으로 비슷했다. 샘플링 스텝은 4회로 StyleStream 1.0의 16회, CosyVoice 변형의 10회, Vevo 계열의 32회보다 적다. Vevo 2.0이 WER은 가장 낮았지만 타깃 스타일 유사도는 모든 지표에서 StyleStream 2.0보다 낮았다. 스트리밍에서는 StyleStream 1.0과 지능도를 맞추면서 E-SIM의 미세한 차이를 제외하면 모든 스타일 지표를 개선했고, 4 스텝과 300ms 청크를 써서 1.0 스트리밍의 12 스텝, 600ms 청크보다 낮은 지연을 가능하게 했다.

스트리밍 분석은 같은 RTX 4060에서 160ms부터 600ms까지 청크 크기를 바꿔 비교했다. 보고된 설정은 300ms 청크와 80ms lookahead이며, 청크당 처리 시간 140.7ms와 합쳐 종단 지연 520.7ms를 기록해 StyleStream 1.0보다 2배 빨랐다. 두 시스템 모두 청크가 길수록 지표가 단조롭게 좋아졌지만, 거의 모든 청크 크기에서 StyleStream 2.0이 1.0을 앞섰다. 2.0은 RTX 4060에서 전 구간 실시간으로 동작해 청크당 처리 시간이 청크 길이보다 충분히 짧았고, 1.0은 600ms 청크에서만 600ms 예산에 598ms로 간신히 실시간을 만족했다.

음성 디자인과 편집은 CapSpeech에서 파생한 합성·자연 코퍼스로 Voice Controller를 학습해 평가한다. CapSpeech 캡션의 스타일 정보를 쓰고 없거나 모호하면 VoxProfile 예측을 대체로 사용하며, 나이·성별·억양·감정 네 속성을 제어한다. 단일 속성 편집쌍은 CosyVoice3로 억양·감정 편집 발화를 같은 음색 공간에 정렬해 만들고, 음색 편집은 나이·성별이 다른 자연 CapSpeech 쌍을 고른다. 테스트는 같은 300개 소스에 음성 디자인은 10개 프롬프트씩 3000개, 음성 편집은 10개 단일축 지시씩 3000개를 붙인다. 디자인에서는 StyleStream 2.0이 나이·성별·억양 정확도에서 가장 높은 전체 스타일 충실도를 보였고, 스트리밍 변형도 나이·성별에서 베이스라인을 앞섰다. CapTTS는 억양 제어에서 경쟁력이 있었고 Qwen3-TTS는 지능도와 감정 정확도가 가장 좋았지만 억양 정확도는 크게 낮았다. 편집에서는 오프라인 StyleStream 2.0이 편집축 정확도와 WER, 자연스러움, 스타일 일관성 MOS에서 가장 좋았고 스트리밍 변형도 근접했다. Vevo 계열은 특히 억양·감정 편집 정확도가 낮았고, 보존 점수가 높은 것은 요청 속성이 충분히 바뀌지 않았기 때문일 수 있다고 저자들은 해석한다.

개발자 관점에서 이 시스템은 실시간 음성 에이전트, 더빙, 접근성 도구처럼 지연에 민감하고 목소리 속성을 텍스트로 지정해야 하는 제품에 직접 관련된다. 다만 원문은 별도 한계 절을 두지 않았고, 실험 범위에서 전제가 드러난다. 지연 수치는 RTX 4060, 300ms 청크, 80ms lookahead 설정의 측정값이므로 다른 하드웨어와 버퍼 설정에서는 달라질 수 있다. Stylizer 학습은 영어 Emilia에 한정되고, 텍스트 제어는 나이·성별·억양·감정 네 축에 집중한다. 텍스트 기반 홀리스틱 편집의 네이티브 베이스라인이 없어 캐스케이드 베이스라인과 비교했고, 편집 성공과 비편집 속성 보존 사이의 트레이드오프도 결과 해석에 남는다. 자기회귀 미세조정과 perceiver-resampler 인코더의 소거 실험은 본문에서 정성적 효과만 제시되고 세부 수치는 부록에 있다.