플로우 매칭 모델의 공간 제어는 SNR 분포 조정으로 열린다

무엇인가

이 논문은 텍스트-이미지 플로우 매칭 모델이 프롬프트에 적힌 2D 좌표를 왜 잘 따르지 못하는지, 그리고 구조 어댑터 없이 그 능력을 끌어낼 수 있는지를 다룬다. 최신 모델은 VLM 텍스트 인코더를 쓰지만 좌표를 기하 제약이 아니라 의미 토큰처럼 처리하는 경우가 많고, 실무에서는 ControlNet·GLIGEN·CreatiLayout 같은 어댑터나 추론 시점 조작에 의존한다. 저자들은 아키텍처를 바꾸지 않고 학습 시 타임스텝 샘플링 분포, 즉 SNR 분포만 조정해 공간 그라운딩을 학습시킬 수 있다고 주장한다.

어떻게 동작하나

방법의 핵심은 통제된 합성 벤치마크다. 10만 개 학습 쌍과 1,000개 평가 쌍을 만들고, 256×256 이미지에 1~10개의 사각형을 렌더링한다. 각 사각형은 CIELAB 공간에서 멀리 떨어진 10색 팔레트로 칠하고, 프롬프트에는 [xmin, ymin, xmax, ymax, color] 형식으로 0~1000 정규화 좌표를 넣는다. 사각형 순서가 곧 가림 우선순위가 되도록 해, 모델이 좌표 해석과 겹침 구성 추론을 함께 해야 한다. 평가는 CIELAB 색상 마스크의 IoU를 색상별로 계산하고 임계값 2~25에서 평균한 mIoU로 하며, VAE 재구성 결과의 mIoU를 상한선으로 삼아 생성 오류와 오토인코더 한계를 분리한다.

무엇과 다른가

SNR 조정은 rectified flow의 보간식 x_t=(1-t)x_0+tε에서 t~p(t)를 바꾸는 일이다. 저자들은 로짓-정규 분포의 σ=1을 고정하고 평균 μ를 0.0부터 3.0까지 옮기며 고노이즈 구간(μ>0)에 학습을 치우친다. 중심 SNR 분포(μ=0)에서는 레이아웃 준수율이 25.9%에 그쳤지만, 고노이즈 쪽으로 옮기면 80.8%까지 올라가 VAE 재구성 상한 83.6%에 근접했다. 고노이즈 구간이 전역 구조를 세우는 ‘결정적 학습 단계’라는 해석이다. 이 필요성은 해상도와 종횡비 변화가 커질수록 강해지고, FLUX.1이 쓰는 보수적 노이즈 스케줄로는 정밀한 레이아웃 준수가 부족하다고 지적한다.

어떻게 쓰나

실험은 FLUX.2-4B-base를 주 모델로 하되 FLUX.2-9B-base, FLUX.1-dev 12B, Qwen-Image 20B까지 확장한다. 단일 80GB A100에서 Adafactor, 단위 배치, 10만 스텝, EMA 0.9995, 코사인 학습률 1e-5→5e-6, 5,000스텝 워밍업, CFG용 10% 널 프롬프트로 미세조정했다. 추론은 25스텝, CFG 3.0, μ=1.0 시프트 로짓-정규 스케줄러를 쓴다. VLM 인코더를 쓰는 FLUX.2와 Qwen-Image는 μ=1.0에서 80.8 mIoU 이상을 보였고, CLIP-L+T5를 쓰는 FLUX.1-dev는 비슷한 성능에 μ=3.0이 필요했다. FLUX.2 VAE는 재구성 상한은 낮지만 학습 가능성이 높아 생성 격차가 2.8과 2.1로 작았고, 다른 VAE는 상한이 높아도 잠재 공간 탐색이 어려워 격차가 컸다.

전제와 한계

물체 크기 의존성도 보고한다. 16×16 픽셀 미만의 작은 물체는 중앙값 mIoU가 약 0.41인 반면 64~128×128 픽셀 큰 물체는 0.85~0.95였고, 이런 저하는 VAE 재구성 상한에서도 비슷하게 나타나 잠재 공간 자체의 성질로 해석된다. 반면 물체 수 3~10개 구간에서는 밀도에 크게 좌우되지 않았다.

실제 이미지 실험은 MS-COCO 2017에서 한다. 군중·밀집 장면·캔버스 2% 미만 물체를 제외해 61,986개 학습, 2,565개 검증 이미지를 쓴다. FLUX.2-9B-base를 512×512, 최대 3:1 종횡비로 5에폭 미세조정하고 μ를 0.0~3.0까지 훑는다. μ=3.0에서 AP50 81.8, AR 65.2를 기록해 GLIGEN 37.2, InstanceDiff 43.7, Hybrid Layout 51.8보다 높은 재현율을 보였고, AP50은 ground-truth COCO에 대한 YOLO-v11-x의 경험적 상한 77.2도 넘었다. 초록 기준 COCO AP는 1.0에서 57.3으로 올라갔고, 10에폭 학습에서는 AP 61.8, AP50 84.7, AR 68.8로 더 개선됐다. 다만 FID 32.38과 CLIP 28.01은 CreatiLayout보다 뒤졌고, IS 30.32는 비교 방법과 ground-truth COCO 29.06보다 높았다.

개발자 관점에서 이 논문은 레이아웃 제어가 안 될 때 곧바로 어댑터를 붙이기 전에 학습 타임스텝 분포와 SNR 스케줄을 먼저 점검하라는 신호다. 특히 VLM 인코더를 쓰는 플로우 매칭 모델이라면 μ를 올리는 미세조정만으로 텍스트 좌표 해석이 크게 개선될 수 있다. 다만 해상도·종횡비·물체 크기에 따라 필요한 시프트가 달라지고, 작은 물체는 VAE 상한 자체가 낮다는 점을 함께 봐야 한다.

저자들이 밝힌 한계는 명확하다. 고노이즈 쪽으로 강하게 치우친 학습은 레이아웃 준수에는 필수적이지만 고주파 텍스처 합성을 해칠 수 있다. 전역 구조 정렬과 국소적 생성 정교화가 경쟁한다는 것이다. 향후 고노이즈 편향에서 시작해 균일 분포로 전환하는 다단계·스케줄 샘플링, DPO나 강화학습으로 레이아웃과 화질을 함께 맞추는 연구를 제안한다. 실패 사례로는 합쳐지거나 복제된 해부학적 특징, 시계 문자판 같은 고주파 세부의 부정확성이 보고됐고, 40~50% 초반 스텝에만 레이아웃 조건 디노이징을 적용하면 세부가 좋아지지만 AP가 1.5~5.1포인트 떨어졌다는 예비 결과도 있다.