PreviewDiff가 디노이징 중간 잠재를 분기 검색해 프롬프트 충실도를 높인다

무엇인가

디퓨전 모델은 그럴듯한 이미지와 영상을 만들어내지만, 프롬프트를 충실히 따르는 데 필요한 구성적 세부 사항에서는 여전히 약하다. 논문이 꼽는 실패 유형은 물체 개수, 속성 결합(어떤 속성이 어느 물체에 붙는지), 공간 관계, 시간축에 근거한 행동이다. 이런 문제를 푸는 흔한 방법은 테스트 시점에 컴퓨트를 더 쓰는 Best-of-N 샘플링이지만, 이 방식은 최종 샘플 선택이 고정되어 있다. 즉 이미 완성된 출력들 중에서 고를 수만 있고, 유망한 궤적이 실패로 가기 전에 손보는 것은 불가능하다.

어떻게 동작하나

PreviewDiff는 이 지점을 뒤집는다. 학습이 필요 없는(training-free) 테스트 타임 검색 기법으로, 디퓨전 샘플링을 스칼라 검색에서 중간 잠재(latent)에 대한 멀티모달 비평가 유도 검색으로 바꾼다. 절차는 이렇다. 먼저 선택된 디노이징 체크포인트에서 부분적으로만 노이즈가 제거된 잠재를 디코딩해 '미리보기(preview)'를 만든다. 그다음 멀티모달 심판(judge)에게 이 미리보기를 채점하게 하고 비평을 받는다. 여기서 나온 자연어 피드백은 두 갈래의 분기를 만드는 데 쓰인다. 하나는 의미론적 프롬프트 수정이고, 다른 하나는 해당 잠재를 국소적으로 다시 노이즈를 입혀 이어가는(locally re-noised latent continuation) 경로다. 이렇게 생성된 분기들은 다시 채점되고, 선택적으로만 앞으로 굴려진다(rolled forward).

무엇과 다른가

핵심 차이는 개입 시점이다. Best-of-N은 샘플이 완성된 뒤에만 판단하지만, PreviewDiff는 샘플이 아직 편집 가능한 상태일 때 검증기 컴퓨트를 투입해 생성을 유도한다. 검증 모델을 최종 심사자가 아니라 디노이징 과정 내부의 능동적 제어기로 쓰는 셈이다. 검색 공간도 달라진다. 완성된 출력 집합이 아니라 중간 잠재와 프롬프트 편집의 조합을 탐색한다.

어떻게 쓰나

실험은 이미지 생성과 영상 생성 벤치마크 양쪽에서 수행됐다. 비교 대상은 컴퓨트 예산을 맞춘(budget-matched) Best-of-N 선택 방식과 강한 스칼라 검색 베이스라인이다. 논문은 이들 대비 일관된 개선을 보고한다. 절제 실험(ablation)에서는 더 이른 시점에 개입하는 것과 검색 폭(search width)을 늘리는 것이 가장 큰 이득을 준다고 밝히고, 더 깊은 검색과 추가적인 의미론적 변형은 상호 보완적인 개선을 제공한다고 설명한다. 다만 제공된 원문에는 데이터셋 이름, 구체적 지표, 표의 수치가 제시되지 않아 개선폭을 숫자로 인용할 수는 없다.

전제와 한계

개발자 관점에서 이 논문이 건드리는 것은 추론 파이프라인의 구조다. 이미지·영상 생성 서비스에서 품질을 올리려고 후보를 여러 개 뽑아 고르는 방식을 쓰고 있다면, 같은 예산을 '완성 후 선택'이 아니라 '중간 개입'에 배분하는 대안이 된다. 특히 프롬프트의 개수·속성 결합·공간 관계처럼 세밀한 조건이 중요한 제품에서 검증기(멀티모달 심판)를 어느 시점에 호출할지 설계하는 문제로 읽힌다. 도입을 검토한다면 디노이징 체크포인트 간격, 분기 폭, 심판 호출 횟수가 총 지연시간과 비용에 어떻게 곱해지는지를 먼저 확인해야 한다.

한계와 전제도 분명하다. 이 방법은 학습이 필요 없는 대신 테스트 타임 컴퓨트를 추가로 요구한다. 미리보기 디코딩, 멀티모달 심판 호출, 분기 생성, 선택적 롤포워드가 모두 추론 비용에 더해지므로, 베이스라인과 예산을 맞춘 비교라는 전제 위에서만 개선 주장이 성립한다. 또한 검색의 성능이 멀티모달 심판의 채점·비평 품질에 의존하며, 원문에 제시된 범위에서는 어떤 조건에서 실패하는지, 심판 비용이나 지연시간이 얼마인지에 대한 수치는 확인되지 않는다.