SEAM이 오디오 없이 TTS 어휘 확장에 필요한 데이터를 4분의 1로 줄인다

무엇인가

조건부 TTS 모델의 어휘를 늘리는 일은 생각보다 비싸다. 새로운 음소나 문자 단위가 하나 추가될 때마다 모델의 조건 공간에 대응하는 임베딩이 필요하고, 실무에서는 이를 랜덤으로 초기화한 뒤 대량의 병렬 오디오로 파인튜닝한다. 저자원 언어나 문서화가 거의 없는 언어에서는 이 오디오 자체를 구하기 어렵기 때문에 어휘 확장이 곧 적응의 병목이 된다. 기존 관행은 언어 모델에서 가져온 휴리스틱으로, 미지 토큰을 아는 서브토큰들로 분해한 뒤 그 임베딩을 산술 평균하는 것이다. 계산은 싸지만 순서를 무시하는 순열 불변 연산이라, 음성 합성에 필요한 시간적·조음적 순서 정보를 버리고 파인튜닝 단계에서 모델이 이를 처음부터 다시 배우게 만든다.

어떻게 동작하나

SEAM(Spectral Embedding Alignment & Merging)은 이 초기화 단계를 오디오 없이, 그래디언트 없이 처리한다. 핵심은 서브토큰 임베딩 행렬 S를 d개의 이산 신호로 취급하는 것이다. 각 차원별로 이산 푸리에 변환을 취한 뒤 가우시안 저역통과 필터 exp(-k²/2σ²)를 적용하고, 유지할 주파수 빈 수를 K_eff = min(K, floor(m/2)+1)로 제한한다. 기본값은 K=4, σ=2.0이다. 저주파 성분은 느리고 전역적인 음성 구성성을 담고, 고주파 성분은 서브토큰 경계에서 생기는 날카로운 아티팩트를 반영한다는 것이 저자들의 해석이다. 필터링된 복소 계수의 실수부와 허수부를 펼쳐 2Kd 차원 특징 벡터 φ(S)를 만들고, 선형 투영 Wφ(S)+b로 하나의 조건 벡터를 얻는다. 복소 계수, 즉 위상 정보를 보존하기 때문에 이 연산자는 평균 풀링과 달리 순서에 민감하다. 서브토큰 순서를 뒤집으면 팰린드롬이 아닌 한 다른 임베딩이 나온다.

무엇과 다른가

투영 행렬 W와 b는 목표 언어 오디오 없이 닫힌 해로 자기 보정된다. 기존 어휘에 속한 토큰을 원래 BPE 토크나이저로 서브토큰 분해해 (S, E(t)) 자기지도 쌍을 만들고, 이를 N개 쌓아 릿지 회귀를 푼다. 정규화 계수 λ는 1e-6이고, 바이어스 항은 L2 정규화에서 제외한다. 해는 (X̃ᵀX̃ + λR)⁻¹X̃ᵀY 형태의 닫힌 해이므로 반복 최적화가 필요 없다. 키릴 문자 같은 비라틴 문자는 먼저 영어 IPA로 음역한 뒤 기존 어휘의 서브토큰으로 분해하고, 최종 임베딩은 기존 임베딩의 평균 노름에 맞춰 정규화한다.

어떻게 쓰나

실험은 러시아어, 카자흐어, 프랑스어 세 언어와 Chatterbox 백본에서 수행했고, CER은 NVIDIA의 언어별 FastConformer ASR로 측정해 3개 시드 평균을 냈다. 5시간·25시간·100시간 예산에서 25시간 시점의 개선이 가장 크다. 평균 초기화 대비 CER이 러시아어 2.22포인트, 카자흐어 10.63포인트, 프랑스어 0.87포인트 낮아졌고, 랜덤 초기화 대비로는 각각 9.16, 27.34, 3.77포인트다. 이는 100시간으로 학습한 베이스라인에 근접하거나 맞먹는 수준으로, 필요한 데이터를 4분의 1로 줄인다는 주장의 근거다. 반대로 100시간에서는 모든 방법이 수렴해 차이가 ASR 평가 분산 안에 들어온다. 즉 SEAM의 이점은 점근적 성능이 아니라 샘플 효율이다. 카자흐어에서 랜덤·평균 초기화의 CER이 5시간에서 25시간으로 갈 때 오히려 오르는 현상은 저자들이 데이터 분할 간 단어 중복 변동 탓으로 설명한다.

전제와 한계

인간 평가는 언어당 원어민 5명이 25개 발화를 블라인드 측면 비교하는 방식으로, SEAM을 25시간 학습한 모델과 평균 초기화를 100시간 학습한 모델을 맞붙였다. 어휘 확장 크기 민감도도 확인했는데, 새 토큰을 200·400·600·800·1000개로 늘리며 25시간 파인튜닝한 결과 SEAM은 완만하게 성능이 떨어지는 반면 랜덤과 평균 초기화는 500개를 넘기면 급격히 무너진다. 다만 주 실험은 공정한 비교를 위해 새 토큰 수를 200개로 고정했다.

순서 보존이 실제로 이득의 원천인지도 절제 실험으로 확인한다. 러시아어 5시간 예산에서 서브토큰 순서를 뒤집으면 CER이 14.88%에서 19.67%로 4.79포인트, 무작위로 섞으면 22.91%로 8.03포인트 올라갔다. 섞기의 타격이 뒤집기보다 크다는 것은 단순한 방향성뿐 아니라 DFT 위상에 담긴 정확한 시간적 궤적이 중요하다는 뜻이다. 같은 예산에서 순서 인지 베이스라인과 비교하면 Position-Aware Pooling이 23.37%, Attention Pooling이 20.14%, 학습형 단일 헤드 어텐션이 15.30%였고 SEAM은 14.88%였다. 학습형 어텐션은 경쟁력은 있으나 보정 데이터가 적을 때 수렴이 나빠 정답 임베딩과의 코사인 유사도가 약 10% 낮고 MSE가 높았다.

개발자 입장에서 이 방법은 새 언어를 붙일 때 초기화 단계에서 며칠치 파인튜닝과 오디오 수집을 아끼는 용도다. 적용 조건은 명확하다. 기존 BPE 토크나이저로 새 토큰을 서브토큰으로 분해할 수 있어야 하고, 비라틴 문자라면 IPA 음역 테이블이 필요하다. 구현은 DFT, 가우시안 필터, 릿지 회귀의 닫힌 해, 노름 정규화로 끝나며 학습 루프가 없어 재현이 쉽다. 다만 데이터가 이미 충분한 상황에서는 이점이 사라지므로, 저자원 초기 적응 단계에 쓰는 것이 맞다.

저자들이 밝힌 한계도 이 두 가지 전제에 집중된다. 서브토큰 분해 가능성과 IPA 음역 품질에 의존하며, 100시간 규모에서는 베이스라인과 차이가 평가 분산 안으로 들어간다. 또한 주 실험의 새 어휘 크기가 200개로 제한되어 있어, 수천 단위의 대규모 어휘 확장에서의 거동은 별도 검증이 필요하다.