셀프 컨디셔닝이 플로우 매칭의 추론 깊이를 늘린다

무엇인가

이 논문은 이미지 생성 자체를 추론 과정으로 쓰는 생성적 시각 추론(generative visual reasoning)을 다룬다. 공간 계획, 조합 최적화, 구조적 렌더링 같은 과제를 모델이 텍스트 대신 이미지 공간에서 직접 풀어내는 패러다임이다. 여기에는 자연스러운 직관이 하나 깔려 있다. 플로우 매칭은 노이즈를 이미지로 바꾸는 과정에서 속도 모델을 K번 순차 호출하므로, 그 K번의 샘플링 스텝이 곧 K번의 추론 스텝이라는 것이다. 저자들은 이 직관이 착각이라고 말한다.

어떻게 동작하나

핵심 논거는 회로 복잡도(circuit complexity)다. 플로우 매칭의 각 스텝은 ODE를 이산화한 것으로, 상태 x를 O(1/K) 크기만큼만 갱신한다. 전체 궤적이 하나의 연속 ODE로 지배되기 때문에, K가 아무리 커도 다른 ODE 솔버로 상수 개 스텝 만에 같은 궤적을 재현할 수 있다는 것이 논문의 증명이다. 구체적으로 저자들은 병렬 피카르 반복(parallel Picard iteration)을 쓴다. 순진하게 다시 시뮬레이션하면 초기 오차가 e^L로 증폭돼 e^O(L) 스텝이 필요하지만, K개 위치를 이전 반복값으로 동시에 갱신하면 오차가 팩토리얼 속도로 줄어 O(L) 라운드로 충분해진다. 그 결과 정리 1은 모델이 B-유계이고 L-립시츠 연속이며, 상태 차원 n=poly(m), 소수부 비트 수 b(m)이 (1+Ω(1))log₂K(m) 이상 O(log m) 이하일 때, 바닐라 플로우 매칭이 결정하는 언어는 백본 자체의 회로 클래스(NC^{k+1}, AC^k, TC^k)를 벗어나지 못한다고 주장한다. 상수 깊이 트랜스포머(TC⁰, AC⁰)에 적용하면 샘플링 스텝을 아무리 늘려도 표현력이 늘지 않는다.

무엇과 다른가

이 병목을 푸는 장치로 저자들이 지목하는 것은 자기 조건화(self-conditioning)다. 자기 조건화는 모델에 추가 입력 z_i를 넣는데, 이는 이전 스텝의 속도로 외삽한 최종 이미지 추정값, 즉 z_i = x_{i-1} + (1-t_{i-1})v_{i-1}이다. 연속 상태 x는 O(1/K)씩만 움직이지만 z_i는 스텝 사이에 급격히 바뀔 수 있다. 저자들은 이 z_i를 모델이 중간 부분해를 기록하고 다듬는 내부 스크래치패드로 규정한다. 학습은 두 번의 순전파를 쓰는 휴리스틱을 따른다. 첫 번째 패스는 z₀=0인 초기 스텝을 흉내 내고, 두 번째 패스는 정지 기울기(stop-gradient)를 적용한 z를 조건으로 넣는다. 두 패스의 손실을 똑같이 절반씩 가중한 J_SC = ½E[‖v⁽¹⁾-(x_data-ε)‖² + ‖v⁽²⁾-(x_data-ε)‖²]를 최소화한다. 학습 비용은 예제당 순전파가 한 번에서 두 번으로 늘어난다.

어떻게 쓰나

정리 2는 자기 조건화의 효과를 이론적으로 못 박는다. PSPACE/poly에 속하는 임의의 언어에 대해, AC⁰ 회로로 계산 가능하고 4-유계·8-립시츠 연속이며 b=O(log m), n=poly(m), K≤2^poly(m)을 만족하는 모델이 자기 조건화 플로우 매칭 하에서 그 언어를 마진 1로 받아들인다. 즉 상수 깊이 백본이 공간 유계 튜링 머신을 시뮬레이션할 수 있게 된다. z_i가 튜링 머신의 테이프와 상태를 담고, 모델 호출 한 번이 머신을 한 스텝 전진시킨다. 다항 스텝이면 P/poly, 지수 이하 스텝이면 PSPACE/poly다. 정리 1과 정리 2는 같은 모델 클래스를 두고 추론 알고리즘만 다르므로, AC⁰·TC⁰ 백본에서 P/poly ∖ D라는 분리를 만들어낸다.

전제와 한계

실험은 회로 복잡도가 알려진 합성 과제 세 개로 통제 비교를 한다. NC¹-완전인 라인 트레이싱, TC⁰-완전인 긴 곱셈과 긴 텍스트 렌더링이다. 백본은 FLUX.2 기반이고 VAE는 얼려 둔다. 라인 트레이싱은 처음부터 학습하고, 나머지 둘은 FLUX.2-klein-base-4B를 미세조정한다. 두 방법은 백본·데이터·옵티마이저·노이즈 스케줄이 같고, 자기 조건화만 스텝 사이에 종점 예측을 넘긴다. 학습 누적 FLOP을 맞춰 비교했을 때, 라인 트레이싱에서 SelfCondFM은 1.10×10¹⁸ FLOP에서 최대 LCP 50에 도달한 반면 VanillaFM은 8 근처에서 정체했다. 긴 곱셈에서는 SelfCondFM이 절반 예산 안에 90% 정확도를 넘겼고 VanillaFM은 평가 구간 내내 그 수준에 도달하지 못했다. 긴 텍스트 렌더링에서도 SelfCondFM은 학습 연산이 늘수록 정확도가 올랐지만 VanillaFM은 대부분의 학습 구간에서 0에 가까웠다.

샘플링 스텝 수(NFE)를 늘렸을 때의 거동도 이론과 일치한다. 두 방법 모두 NFE=1에서 평균 LCP 0으로 시작하지만, SelfCondFM은 NFE=10에서 49.84에 도달한 반면 VanillaFM은 NFE=6에서 7.66을 찍고 NFE=50까지 8.0 아래에 머문다. He et al.(2025)의 구조적 시각 추론 과제 다섯 개(VSP-Super, Maze, TSP, Sudoku, Jigsaw)에서도 자기 조건화는 모든 과제에서 향상됐고 평균 정확도가 65.9%에서 76.7%로 올랐다. TSP +15.7%, Sudoku +19.5%가 두드러진다. 20B 파라미터 Qwen-Image-Edit-2511에 LoRA 어댑터로 붙인 대규모 비교에서는 과제별 어댑터가 평균 90.0%로 DiffThinker(75.8%)를 앞섰고, 네 과제를 한 어댑터로 공동 학습한 경우 90.2%로 통합 DiffThinker(66.1%)와 EndoCoT(76.6%)를 크게 웃돌았다. EndoCoT(88.3%)는 잠재 CoT를 함께 쓰므로 직접 비교 대상이 아닌 참조로 둔다.

실무 관점에서 이 논문이 주는 설계 원칙은 명확하다. 샘플링 스텝 사이에 더 많은 정보를 실어 보내야 추가 스텝이 더 깊은 추론으로 번역된다는 것이다. 이미지 생성 기반 추론 파이프라인을 만들면서 스텝 수만 늘리고 있다면, 그 스텝들이 실제로 순차 계산을 하고 있는지 의심해봐야 한다. 자기 조건화는 학습 시 순전파가 한 번 늘어나는 비용이 들지만, 추론 시에는 추가 호출 없이 스텝 간 상태를 풍부하게 만든다. 논문은 또한 자기 조건화가 만든 z_i가 생성 전반에 걸쳐 어텐션의 상당 부분을 받고, 특히 x_i가 아직 노이즈일 때 초반에 더 많이 쓰인다는 분석을 제시한다. 모델이 여러 국소 결과를 병렬로 만들고 궤적 중간의 잘못된 생성을 제자리에서 고칠 수 있다는 점도 함께 보고한다.

한계도 저자들이 직접 밝힌다. 정리 1의 상한은 상당히 강한 립시츠 제약을 요구한다. 실험에서 추정한 VanillaFM의 립시츠 상수는 m≥30에서 약 400으로 평탄해지는데, 이는 인증된 값이 아니라 경험적 추정치다. 립시츠 상수에 대한 의존성은 상수 인자까지 타이트하기 때문에, 저자들은 다른 형태의 정칙성 조건을 향후 과제로 남긴다. 이론 자체는 데이터 양식에 의존하지 않으므로 비디오 생성, 연속 확산 언어 모델링, 시각운동 정책 학습에도 적용될 수 있지만, 그 영역에서 자기 조건화가 같은 실증적 이득을 주는지는 아직 열린 문제다.