이산 시각 토큰의 품질은 양자화 오차가 아니라 유효 비트 예산이 결정한다
Can Discrete Tokens Serve as Semantically Lossless Representations of Visual Signals?
무엇인가
이 논문은 이미지를 텍스트와 같은 이산 토큰으로 표현하려는 흐름을 다룬다. 초기 융합 사전학습이나 인코더 없는 설계처럼 비전 인코더를 언어모델에 붙이는 방식을 넘어, 시각 신호를 언어와 동일한 토큰 인터페이스로 표현하면 LLM의 아키텍처와 학습 패러다임, 스케일링 레시피를 그대로 물려받을 수 있고, visual chain of thought나 중간 의미 표현으로도 쓸 수 있다. 문제는 통념이다. 연속 시각 특징을 유한한 코드북으로 양자화하면 양자화 오차가 생기고 그 오차가 곧 의미 손실이므로, 연속 표현이 이산 표현의 성능 상한이라는 시각이 지배적이었다. 논문은 이 가정을 정면으로 반박한다.
어떻게 동작하나
첫 번째 발견은 양자화 오차가 의미 충실도를 결정하지 않는다는 것이다. 저자들은 단일 코드북 VQ와 8그룹 RVQ를 비교하면서, 그룹을 교대로 남긴 두 가지 부분 표현을 만들었다. 홀수 그룹 변형은 group 0이 담당하던 거친(coarse) 성분을 통째로 빼버려 재구성 오차가 훨씬 큰데도 이해 성능은 VQ를 크게 앞섰고 짝수 그룹 변형과 비슷했다. 반대로 짝수 그룹 변형은 재구성 오차가 VQ 수준인데도 이해 성능은 훨씬 좋았다. ImageNet 검증셋의 특징 재구성 MSE와 다운스트림 멀티모달 이해 성능을 나란히 비교한 결과다. 이유는 구조적이다. VLM은 재구성된 특징이 아니라 이산 인덱스 위에서 동작하므로, 양자화 오차가 그대로 의미 손실로 번역될 필요가 없다.
무엇과 다른가
두 번째 발견은 유효 비트 예산(effective bit budget)이다. 디지털 시스템에서 원시 시각 신호, 연속 특징, 이산 표현은 모두 유한 비트 인코딩이고, 패치당 비트 예산은 B = L log2 C로 정의된다. 코드북 개수 L에는 선형으로, 코드북 크기 C에는 로그로 늘어나므로, 최적화가 어렵고 코드북 붕괴 위험이 있는 C를 키우기보다 C를 고정하고 L을 늘리는 쪽이 효율적이다. 실제로 RVQ와 PQ 모두 비트 예산을 키우면 성능이 오르고 연속 표현에 근접하며, 고주파 디테일이 잘려 실패하기 쉽던 OCR에서도 예산이 커질수록 미세 텍스트 정보가 복구된다. 그러나 두 방식 모두 높은 예산에서 포화한다. 코드북을 8개에서 16개로 늘려 명목 비트를 두 배로 만들어도 이해 성능 이득은 미미했다. RVQ는 뒤쪽 코드북이 점점 더 작은 잔차만 받고, PQ는 특징을 점점 좁은 채널 그룹으로 쪼개기 때문이다. 명목 용량은 늘어도 유효 의미 용량이 따라오지 못하는 것이다.
어떻게 쓰나
제안 방법인 FVQ(Factorized Vector Quantization)는 이 포화를 세 가지 설계로 우회한다. 첫째, 상보적 tight-frame 투영이다. 각 패치 특징을 L개의 고정 차원 뷰로 사상하는데, 투영 행렬은 D개 전체 채널에 걸친 밀집 행렬이라 L이 늘어도 각 코드북의 입력 차원 d는 그대로 유지된다. PQ처럼 특징을 좁은 그룹으로 나누는 것과 근본적으로 다르다. 여러 투영을 쌓은 연산자 A에는 Aᵀ A = ρI_D(ρ = Ld/D)라는 tight-frame 조건을 부과해, 어떤 특징 방향도 모든 뷰에서 동시에 버려지지 않고 모든 방향이 동일하게 스케일되도록 한다. 행렬은 고정 가우시안 행렬의 축소 QR 분해로 만들어 학습 내내 고정된다. 둘째, 대칭 병렬 양자화다. 각 뷰를 자기 전용 코드북으로 독립적으로 최근접 탐색해 이산 ID를 뽑고, 패치 하나가 (k₁,…,k_L) 튜플로 표현된다. 셋째, tight-frame 합성이다. 선택된 코드워드를 ρ⁻¹Aᵀ로 다시 합치는데, Aᵀ A = ρI_D이므로 양자화 전에는 원래 특징이 정확히 복원된다. 즉 분해 자체는 재구성 오차를 전혀 만들지 않고, 모든 왜곡은 뷰를 최근접 코드워드로 치환하는 단계에서만 발생한다.
전제와 한계
실험은 Qwen3-8B에 16-코드북 FVQ를 적용한 Qwen3 ViT 토크나이저를 붙여 진행했다. 양자화기 학습, 정렬, 사전학습, 지도 미세조정의 4단계로 훈련하고 각 단계에 100B, 10B, 60B, 30B 토큰을 투입했으며, 컨텍스트 길이는 8K와 16K, 최대 이미지 해상도는 1024px와 2048px이다. 결과적으로 이산 표현 모델 중 최고 성능을 냈고, 9개 지표 평균에서 UniAR을 22.8%, Emu3-Chat을 59.2% 앞섰다. MathVista에서는 Qwen3-VL-8B와 동등했고 RealWorldQA에서는 최고 기록을 냈다. OCR·문서·차트 영역에서도 OmniDocBench와 DocVQA에서 Qwen3-VL-8B와 비슷한 수준까지 좁혔고, CharXiv의 두 과제에서는 연속 표현 모델을 앞섰다. 21,253×3,912 픽셀의 긴 표에서 흩어진 항목을 찾아 합치거나, 조밀한 스캔 시험지의 손글씨 선택을 읽거나, 5,000자 넘는 밀집 조판을 전사하는 사례까지 성공시켰다. 어블레이션에서는 MoonViT-v2와 SigLIP2 특징에서도 단일 코드북 VQ 대비 8-코드북 FVQ가 평균 큰 폭으로 향상됐고, 산업 규모 사전학습을 빼고 LLaVA-OneVision SFT만 적용해도 FVQ가 비교 방법 중 가장 좋은 전체 성능을 보였다. 다만 이 어블레이션 표들의 개별 수치는 원문 본문에 숫자로 제시되지 않았다.
개발자 관점에서 이 논문의 실용적 메시지는 토크나이저 설계의 노브를 바꾼다는 것이다. 코드북 크기 C를 무리하게 키우는 대신 코드북 개수 L을 늘리고, 각 코드북이 전체 특징에서 온 고정 차원 뷰를 받도록 투영을 설계하면 비트 예산을 늘릴수록 성능이 계속 오른다. 반대로 RVQ나 PQ를 쓰면서 8개에서 16개로 코드북을 늘렸는데 이득이 없다면, 그것은 비트가 부족해서가 아니라 새 코드북에 들어가는 정보가 줄어든 것이다. FVQ의 16-코드북 구성과 4단계 학습 레시피, 투영을 학습 중 고정하는 선택은 그대로 참조할 만한 출발점이다.
한계와 전제도 분명하다. 저자들은 별도의 한계 절을 두지 않았지만, 논문의 핵심 논증은 '멀티모달 이해 성능이 의미 충실도의 대리 지표'라는 전제 위에 서 있다. 재구성 품질과 이해 성능이 어긋난다는 것을 보여준 것이 출발점이므로, 재구성이 중요한 생성 과제에는 이 논증이 그대로 적용되지 않는다. FVQ 역시 포화 문제를 없앤 해법이 아니라 '하나의 접근'으로 제시되며, 투영 행렬을 학습 내내 고정한다는 제약과 16-코드북 구성이 특정 비전 인코더(Qwen3 ViT)에 맞춰져 있다는 점도 확인해야 한다. 그리고 표에 담긴 벤치마크별 세부 수치는 본문이 아니라 표에만 있어, 인용하려면 원문 표를 직접 확인해야 한다.