RubatoCodec는 발화별 예산으로 가변 음성 토큰을 스트리밍 디코딩한다

무엇인가

이 논문은 신경 음성 코덱이 생성용 이산 토큰을 만들 때 생기는 길이 예측 문제를 다룬다. 프레임율을 낮추면 시퀀스는 짧아지지만 토큰 하나가 더 많은 언어·음향 정보를 떠안아야 하고, 임계값 기반 가변 프레임율 코덱은 콘텐츠가 토큰 수를 결정해 고정 설정에서도 발화와 데이터셋마다 시퀀스 길이가 달라진다. 논문은 공개된 임계값 기반 코덱 하나가 단일 임계값에서 다섯 평가 데이터셋에 걸쳐 46.1에서 81.5 events/s까지 변했다고 보고하며, 이 때문에 다운스트림 모델링 비용을 오디오 길이만으로 정할 수 없다고 지적한다. RubatoCodec은 발화 단위 이벤트 예산을 정확히 고정하면서 이벤트 배치는 콘텐츠에 적응시키는 방식으로 이 문제를 푼다. X-Codec-2를 기반으로 하며 기본 보존 비율 R=0.25에서 50Hz 잠재 그리드로부터 평균 12.5 events/s를 얻고, 이벤트 길이는 가변이다. 이름의 루바토처럼 국소 타이밍은 유연하게 하지만 전체 템포는 유지한다.

어떻게 동작하나

핵심인 Adaptive Firing은 학습된 경계 예측기 없이 잠재 특징 불유사도와 파형 스펙트럼 플럭스로 경계를 정한다. 발화 신호는 다중 스케일 잠재 불유사도와 로그멜 스펙트럼 플럭스를 각각 시퀀스 평균으로 정규화해 더한 값이며, 잠재 항은 오프셋 쌍 (1,0), (1,1), (2,1)에서 코사인 불유사도 max(0,1-cos)를 계산한다. 스펙트럼 플럭스는 16kHz에서 80멜 빈, 1024점 STFT, 320샘플 홉으로 계산한다. 목표 보존 비율 R에 대해 이벤트 수는 K=max(1,min(T,round(RT)))로 정하고, 첫 프레임이 한 단위를 쓴 뒤 남은 L=T-1 프레임에 M=K-1개의 이벤트 시작을 δ_t=min(αs_t,1), 합 δ=M이 되도록 분배한다. α는 이분법으로 찾고, 누적 증가량의 임계값 교차를 이벤트 시작으로 삼되 단조 보정으로 정확히 K개의 서로 다른 비어 있지 않은 이벤트를 보장한다. 이 배분은 결정적이고 미분 불가능하며, 이벤트 수는 rate loss 없이 직접 강제되고 경계는 훈련 중 특징이 변하면서 함께 움직인다. 비용은 이분법 반복마다 O(T)에 선형 임계 탐색과 위치 보정이 더해진다.

무엇과 다른가

각 이벤트는 Q개 양자화 인덱스와 20ms 그리드 프레임 수로 표현되는 명시적 지속시간 d_i를 갖는다. 양자화기 입력은 이벤트 시작 특징에 학습된 보정을 더한 g_i=h_pi+MLP([h_pi; 이벤트 평균; 지속시간 임베딩])이며, 시작 특징의 잔차 연결이 이벤트 시작 정보를 보존하고 평균과 지속시간이 보정에 들어간다. 양자화는 16층으로, 0층은 [8,8,8,8] 레벨의 유한 스칼라 양자화로 4096 인덱스를 만들고 1층부터 15층까지는 DAC식 벡터 양자화로 층당 4096개 코드북과 12비트 인덱스를 쓴다. 첫 층 재구성에서 동결된 w2v-BERT 2.0 특징을 예측하는 훈련 전용 의미 헤드가 이벤트 시작 지점에 의미 감독을 준다. 디코더는 역양자화된 이벤트 벡터를 시작 위치에 놓고 시작 사이에는 학습된 빈 벡터와 오프셋 임베딩을 넣으며, 인과 Transformer 백본과 3배 업샘플러, Vocos식 스펙트럼 헤드, 294샘플 홉 ISTFT로 44.1kHz 파형을 만든다. 스트리밍 디코딩은 이벤트가 완성될 때마다 증분 합성하고, 주기적으로 최근 이벤트 구간에서 디코더 상태를 재계산해 크로스페이드한다. 코덱 파라미터는 약 246.1M이고 동결 w2v-BERT 2.0 약 580M를 포함하면 전체 약 826M이다. 12.5 events/s에서 양자화 깊이 1, 4, 8, 16은 각각 0.15, 0.60, 1.20, 2.40 kbit/s의 콘텐츠 비트레이트에 대응한다.

어떻게 쓰나

실험은 영어 공유 부분집합에서 6.25, 12.5, 25 events/s의 적응형과 고정율 아키텍처를 비교하고, 12.5 events/s에서 적응형 배치와 균일 스트라이드 배치를 비교한다. 이후 더 큰 다국어 음성 혼합으로 학습한 모델을 외부 코덱과 비교한다. 저자들은 낮은 이벤트율에서 적응형 배치가 고정율 다운샘플링보다 재구성 충실도와 지능성에서 낫고, 그 이득이 6.25와 12.5Hz에서 나타나며 25Hz에서는 좁아진다고 보고한다. 집계와 디코딩 그리드를 고정한 배치 전용 비교에서는 적응형 배치가 균일 스트라이드보다 화자 유사도를 높였다. 다국어 평가에서는 영어·일본어·중국어에서 경쟁력 있는 재구성 품질을 보였고, 비교 가능한 비트레이트의 평가된 영어와 일본어 벤치마크에서 비교 코덱 중 최고의 지능성 보존을 기록했다. 다만 영어 벤치마크에서 가장 강한 비교군들은 더 높은 신호 충실도와 화자 유사도를 유지했고, 일본어에서는 읽기와 감정 음성 모두 지능성 우위가 이어졌지만 예측 품질 순위는 데이터셋에 따라 달랐으며, 중국어에서는 지능성 보존이 경쟁력 있었지만 가장 강한 대안들이 더 낮은 dCER을 달성했다.

전제와 한계

일치 조건 TTS 비교에서 적응형 표현은 고정율 코덱보다 낮은 WER과 높은 UTMOS, UTMOSv2를 보였고 화자 유사도는 비슷했다. 생성된 이벤트 타이밍도 코덱의 예산 규칙을 학습했다. seed-tts-eval의 영어 1,088개 발화에서 생성 이벤트율은 평균 12.461, 중앙값 12.454, 5~95 백분위 12.329~12.609 events/s였고 개별 발화는 11.897~12.849 events/s 범위였다. 생성 그리드 길이 T에 대해 88.3% 발화의 생성 이벤트 수가 round(0.25T)와 같았고 99.9%가 한 이벤트 이내였으며, 생성 시 명시적 rate 제약은 없었다. 61,965개 생성 이벤트의 평균 지속시간은 80.24ms, 중앙값 80ms, 5~95 백분위 40~140ms였고 300ms 초과 이벤트는 362개(0.58%), 최대 1.22초였다. 300ms 초과 이벤트 중 361개(99.7%)가 주로 저에너지 구간이었고, 긴 이벤트는 발화 경계에 더 자주 나타났다. 다만 비공식 청취에서 긴 이벤트와 연관된 부자연스러운 구문 내 휴지가 발견됐다.

개발자 관점에서 이 설계의 핵심은 이벤트 수와 배치를 분리해, 고정 R에서 시퀀스 길이를 오디오 길이로 예측할 수 있게 만든 점이다. TTS나 음성 LLM을 스트리밍으로 만들 때 완성된 이벤트를 바로 인과 디코더에 넘길 수 있고, 명시적 지속시간은 향후 발화 길이와 휴지 제어로 확장할 여지를 준다. 그러나 파형 디코더는 여전히 50Hz 그리드에서 동작하므로 짧아진 토큰 시퀀스는 다운스트림 모델링 비용을 줄이지만 파형 디코더 계산량을 줄이지는 않는다. 44.1kHz 출력은 합성 능력이지 전체 대역 원본 복원의 증거가 아니며, 인코딩 입력이 16kHz라 높은 주파수는 추론해야 한다. LibriSpeech에서 UTMOSv2가 원본 녹음보다 높게 나온 것은 예측 품질이 원본 충실도와 같지 않음을 보여준다. 추론 시 이벤트율을 올리면 추가 비트레이트로 재구성이 좋아지지만 공격적으로 낮추면 더 깊은 양자화로도 급격히 나빠지는 비대칭 허용도도 확인해야 한다. 저자들은 12.5Hz를 품질과 시퀀스 길이의 실용적 절충으로 제시하지만 최적이라고 확립하지는 않는다.

저자들이 밝힌 한계는 분명하다. 아키텍처 비교는 구성별로 한 번 학습한 모델에 기반하고, 발화 신호 선택 실험은 초기 단일 FSQ 저비트레이트 설계와 더 작은 훈련 예산을 써서 현재 잔차 양자화기와 훈련 규모에서 순위가 바뀔 수 있다. 배치 비교는 시드 하나와 영어 낭독 음성만 사용해 훈련 실행, 언어, 녹음 조건 전반의 견고성은 검증되지 않았다. 발화 통계는 지속시간과 에너지의 연관을 설명할 뿐 음성 정렬이나 최적 배분을 뜻하지 않고, 발화 내부 배분의 품질 기여와 저에너지 구간 배분의 기여를 분리하지도 않는다. 또한 예산 기반 배분은 데이터셋별 보정 없이 예측 가능한 길이를 주지만, 같은 길이의 발화는 음향 복잡도와 무관하게 같은 예산을 받고, 임계값 기반 방법은 어려운 발화에 더 많은 이벤트를 쓸 수 있다. 외부 코덱은 훈련 자원과 동작점이 달라 실현율과 타이밍 비용을 보고해도 통제되지 않는다. 평가된 모든 언어가 RubatoCodec 훈련 혼합에 포함되어 미학습 언어 전이나 Adaptive Firing만의 언어 견고성을 입증하지 못한다. TTS 증거도 영어 오디오북 코퍼스 하나와 통제 비교 코덱에 한정되고, 적응형 배치의 TTS 기여를 분리하지 않으며, 다국어 코덱·더 넓은 데이터·더 큰 생성기로 얻을 품질을 확립하지 않는다. 재구성과 TTS 선호도, 휴지 자연스러움에 대한 인간 평가도 남아 있다.