SpecSlot은 토큰을 역할별로 나눠 픽셀 공간 생성의 전역 비용을 줄인다

무엇인가

픽셀 공간 생성 트랜스포머는 보통 이미지 패치 하나를 토큰 하나로 쓴다. 그래서 더 세밀한 디테일을 얻으려면 토큰 수를 늘려야 하고, 전역 어텐션 비용은 제곱으로 커진다. 논문은 256×256 이미지에서 패치를 16×16에서 8×8로 줄이면 토큰이 256개에서 1,024개로 늘고, dense attention의 제곱 항이 16배 커진다고 설명한다. 기존 JiT는 모든 패치 토큰을 전역 시퀀스에 넣고, multiscale 구조나 detailer head, window·selected-global·learned sparsity 같은 효率적 어텐션도 출력 디테일과 토큰 통신의 결합을 크게 바꾸지 못한다. 저자들의 관찰은 다르다. 주파수 영역에서 저주파 구조는 넓은 이미지 조직을 담당해 장거리 교환이 유리하지만, 고주파 디테일은 대체로 국소적이다. 따라서 토큰이 무엇을 출력하는지가 어떻게 통신할지를 정하게 만들자는 것이 SpecSlot의 출발점이다.

어떻게 동작하나

SpecSlot은 Read, Allocate, Route 세 연산으로 토큰화를 할당 문제로 바꾼다. W개의 공간 앵커가 입력 증거를 읽고, 각 앵커를 K개의 인덱스 슬롯으로 확장한다. 전체 예산은 N=WK이고, 출력 창은 L=2s, 앵커 수는 W=(H/s)^2, 슬롯당 채널별 계수 수는 E=L^2/K=4H^2/N이다. Read 단계에서는 s×s 셀을 패치 임베딩해 앵커 벡터를 만들고, zero-init residual depthwise 3×3 입력 믹서로 이웃 셀 증거를 섞은 뒤, 공유 1×1 투영으로 K개 슬롯 은닉 상태를 만든다. 여기에 2D 앵커 위치와 학습된 슬롯 위치를 더한다. Allocate 단계에서는 DCT-II 계수를 반지름 주파수 순으로 정렬해 K개 동일 그룹으로 나누고, 슬롯 k가 서로 겹치지 않는 그룹 k를 소유한다. 공유 affine head가 슬롯의 최종 은닉 상태에서 3E개 계수를 예측한다. 각 창을 독립 복호화하면 경계 이음새가 생기므로 50% 겹친 DCT 프레임, 제곱근 주기 Hann 창, 정규화 overlap-add로 합성한다. 같은 슬롯 상태를 쓰는 공간 head는 앵커 셀을 결정적 타일로 나눠 픽셀 공간 보정을 더한다. 이 보정은 zero-init이며 토큰 상태나 어텐션 엣지를 추가하지 않고, 최종 예측은 스펙트럴 항과 공간 항의 합이다.

무엇과 다른가

Route 단계의 핵심은 통신 자격을 슬롯의 주파수 역할에 묶는 것이다. 각 앵커에서 가장 낮은 반지름 그룹을 소유한 슬롯 0만 전역 단계로 들어가고, 나머지 슬롯을 포함한 모든 K개 슬롯은 앵커 내부에서 국소적으로 상호작용한다. 전역 집합은 32개의 클래스 문맥 상태와 슬롯 0들을 concat하고, 국소 집합은 각 앵커의 전체 슬롯이다. global-global-local-local 일정을 세 번 반복해 6개 전역 블록과 6개 국소 블록을 두며, 클래스 문맥은 전역 그룹에만 들어간다. ImageNet-256에서 s=16, K=4일 때 전역 시퀀스는 WK+C=1,056이 아니라 W+C=288 토큰이다. 논문의 제곱 비용식은 GGLL이 6(W+C)^2d+6WK^2d, 전체 전역이 12(WK+C)^2d로, 전역 제곱 항이 WK가 아니라 W에 비례하게 만든다. 생성 상태와 목표, 손실은 여전히 픽셀 공간에 남는다.

어떻게 쓰나

실험은 ImageNet-1K 클래스 조건부 모델로 ImageNet-256과 ImageNet-512에서 진행됐다. 기본 설정은 W256 앵커 그리드, 입력 투영 폭 B=1536, SpecSlot-K2와 K4이며, ImageNet-256은 120 에폭, 유효 배치 512로 학습한다. 샘플링은 50 Heun 간격, EMA1 가중치, 모델별 최적 CFG를 쓰고 주요 ImageNet·텍스트-이미지 결과는 5개 시드, 절제는 3개 시드다. 비용은 H800 BF16 TorchInductor로 측정했다. ImageNet-256에서 K2는 JiT-B/16보다 개선되고, K4는 더 개선되면서 JiT-B/8보다 40.9% 적은 FLOPs를 쓴다. 다만 JiT-B/8은 여전히 품질 선두다. FLOPs를 맞춘 JiT-CM/124G와 비교하면 SpecSlot-K4는 거의 같은 FLOPs와 처리량에서 5시드 95% 구간 안의 평균 FID를 맞추고, 학습 초·중반 체크포인트에서 더 빨리 내려간다. 원문 본문에는 ImageNet-256의 절대 FID 수치가 제시되지 않았다.

전제와 한계

ImageNet-512에서는 SpecSlot-K4가 JiT-CM보다 FID를 2.84 개선하면서 비용은 약간 낮다. JiT-B/16에는 0.69 FID 뒤지지만 38.2% 낮은 비용과 1.6배 높은 처리량을 보이고, 패널에서 가장 높은 Inception Score를 기록한다. 두 할당 모두 입력 측 스펙트럴 베이스라인 SF-B/32를 앞선다. 저비용 K2는 JiT-CM 대비 1.04 FID 이내를 유지하면서 33.1% 적은 연산을 쓴다. 각 패널의 가장 강한 JiT가 약 1.7배 연산을 쓰는 조건에서 FID 격차는 ImageNet-256의 2.25에서 ImageNet-512의 0.69로 줄고, JiT-CM 대비 우위는 0.09에서 2.84로 커진다. 텍스트-이미지 생성은 BLIP3o 장·단문 캡션과 JourneyDB 샤드로 256×256 학습을 하며, 고정 OpenCLIP ViT-L/14와 학습 가능한 32-query 어댑터를 쓴다. SpecSlot은 DPG-Bench에서 가장 높은 점수를 내고 JiT-B/8보다 40.6% 낮은 순전파 비용을 쓴다. 결론에 따르면 DPG-Bench는 62.21 대 61.15다. GenEval에서는 JiT-B/16을 앞서지만 JiT-B/8이 1.7배 비용으로 품질 선두다.

절제 실험은 W와 K가 서로 대체 가능하지 않음을 보여준다. W는 읽기를, K는 쓰기를 개선한다. W를 고정하고 K를 늘리면 FID가 낮아지지만 수확 체감이 있어 마지막 두 배 증가는 0.31 FID만 얻는다. 반대로 N을 고정하고 앵커 쪽으로 예산을 옮기면 FID가 단조롭게 낮아지고, 테스트한 N=2,048 범위에서는 뚜렷한 포화가 없었다. 다만 저자들은 이 앵커 우선 규칙이 측정 범위 밖에서도 일반화된다고 주장하지 않는다. 엔트로피 기반 유효 슬롯 비율은 K=2의 0.803에서 K=8의 0.495로 줄고, 절대 유효 랭크는 늘지만 선형보다 느리게 늘어 토큰 수만으로 유효 용량을 재기 어렵다. 같은 스펙트럴 출력에서 공간 입력이 주파수 입력보다 낫고, 이중 기저 하이브리드가 6.59 FID로 최고 단일 기저 6.99보다 0.40 낮다. 토큰이나 앵커 간 어텐션 엣지를 추가하지 않고 얻은 결과다. 동일 FLOPs로 맞춘 dense-global 대조군보다 GGLL이 더 좋은 FID와 빠른 속도를 보였고, 폭을 줄이지 않은 full-global 어텐션은 더 낮은 FID를 얻지만 비용이 74.8% 높고 처리량이 낮다. GGLL은 full-global 비용의 42.8%를 절약한다. 전역/국소 순서를 바꾼 GLGL은 같은 연산에서 FID가 나빠진다. 샘플링 예산 20·30·50 Heun 간격에서 GGLL은 비용 맞춤 dense-global보다 1.47~1.49배 높은 처리량을 보였다. 메커니즘 분석에서는 공간 항의 비중이 플로우를 따라 0.07에서 0.23으로 커지고 교차항이 양수라 두 항이 상쇄보다 보강한다. 트렁크를 고정하고 한 항을 제거하면 t=0.90에서 공간 항 제거 시 32.1배, 스펙트럴 항 제거 시 64.1배 속도 MSE가 오르고, t=0.05에서는 각각 1.1배와 2.1배다. 가장 낮은 반지름 슬롯을 1·2·3으로 바꾸면 평균 FID가 모든 경우 올라가고, 최저 반지름 대역이 DNR=1을 가장 먼저 넘는다.

개발자에게 이 논문의 실무적 의미는 전역 시퀀스 길이와 출력 디테일을 분리하는 토큰화 선택지를 제공한다는 점이다. 고해상도 픽셀 공간 생성에서 어텐션이 병목일 때, 앵커 밀도 W와 주파수 세분화 K를 별도 예산 변수로 두고 저주파 슬롯만 전역에 보내는 설계를 참고할 수 있다. 다만 K가 L^2를 나눠야 하는 제약과, 앵커 우선 할당이 측정 범위 밖에서도 통하는지는 확인해야 한다. 저자들이 밝힌 한계도 분명하다. 앵커 쪽에 더 많은 예산을 주는 규칙은 테스트한 N=2,048 범위에서만 관찰됐고 일반화를 주장하지 않는다. ImageNet-512에서 더 큰 개선 폭은 앵커 내부 할당 메커니즘과 일관되지만 원인을 분리해 입증한 것은 아니다. full-global 어텐션은 더 낮은 FID를 얻을 수 있으나 비용이 74.8% 높아, 이 설계는 중간 수준의 어텐션 제약 영역을 겨냥한다. 결과도 평가된 픽셀 공간 설정에 한정되며, 텍스트-이미지 전이에는 별도 아키텍처 변경 없이 특정 데이터·텍스트 인코더·어댑터 구성이 쓰였다.