GRN의 반복 정제를 편집 인터페이스로 활용한 학습 없는 프롬프트 기반 이미지 편집

무엇인가

이 논문은 텍스트 기반 이미지 편집에서 요청된 변경을 반영하면서 관련 없는 원본 내용을 보존하는 문제를 다룬다. 기존 학습 없는 편집기 중 확산 기반 방법은 마스크, 어텐션 맵, 중간 특징 주입 같은 공간 제어를 사용하는데, 이 제어가 부정확하면 편집이 불완전하게 남거나 관련 없는 영역이 바뀔 수 있다. 자기회귀 기반 편집기는 고정된 디코딩 순서 때문에 앞서 내린 결정을 수정하기 어렵다는 추가 제약이 있다. 저자들은 생성 정제 네트워크(GRN)가 전체 시각 토큰 맵을 반복 갱신하며 무작위 이진 코드에서 거친 구조를 거쳐 세부 묘사로 나아가는 과정에 주목한다. 중간 소스 상태가 이미 공간 구조를 담고 있고, 계층적 이진 양자화(HBQ) 코드의 공간·채널 좌표가 소스 분기와 편집 분기에서 정렬되므로, 같은 상태를 소스 프롬프트와 편집 프롬프트에 조건화하면 비트 확률 차이가 생긴다. 이 차이를 개별 이진 좌표의 편집 증거로 쓰면 정제가 진행되면서 편집 위치와 내용 생성이 함께 진화할 수 있다는 것이 핵심 관찰이다.

어떻게 동작하나

제안 방법 RefineEdit은 GRN 위에 구축된 최초의 학습 없는 프롬프트-투-프롬프트 이미지 편집 프레임워크라고 주장한다. 먼저 소스 프롬프트로 소스 정제를 실행하고, 전환 단계 t_s에서 현재 소스 상태로 편집 분기를 초기화한다(Y_{t_s}^e = Y_{t_s}^s). 이후 두 분기는 각자의 프롬프트로 같은 고정 랜덤 코드 Z와 정제 일정을 사용해 계속 정제된다. 각 편집 단계에서 두 분기는 P_t^s와 P_t^e를 만들고, 소스 분기에서 샘플된 비트 y_hat에 대해 부호 있는 확률 차이 Δ = P_t^s(n,d,y_hat) - P_t^e(n,d,y_hat)를 계산한다. 양수 값은 편집 분기가 소스 샘플 비트에 더 낮은 확률을 준다는 뜻이므로 해당 좌표가 소스에서 벗어나도 된다는 증거가 된다. 위치별 점수 q_t,n은 D개 비트의 Δ 평균이고, 공간 마스크 a_t,n = 1[q_t,n > τ_spa], 비트 마스크 m_t,n,d = a_t,n * 1[Δ_t,n,d > τ_pow]로 편집 허용 위치와 비트를 정한다. 소스 고정 라우팅은 Y_{t+1}^e = m_t ⊙ Y~_{t+1}^e + (1-m_t) ⊙ Y_{t+1}^s로, 선택된 좌표는 편집 제안을 받고 나머지는 같은 정제 단계의 소스 상태를 복사한다. 두 분기 모두 GRN의 전역 정제를 유지하되, 마스크가 다음 편집 상태에 어떤 업데이트가 들어갈지 제어한다. 마지막 단계에서는 샘플된 소스와 편집 예측을 라우팅한 뒤 Z를 섞지 않고 HBQ 코드를 디코딩한다.

무엇과 다른가

저자들은 라우팅 결정을 안정화하기 위해 두 가지 메커니즘을 추가한다. 적응적 공간 동결(AdaSF)은 전환 단계에서 초기 편집 반응이 충분히 강하면 공간 마스크를 그대로 고정해 불필요한 편집 영역 확장을 막는다. 전환 단계에서 선택된 위치 집합 Ω와 그 평균 마진 r = sum_{n∈Ω}(q_{t_s,n} - τ_spa) / max(1, |Ω|)을 계산하고, r ≥ τ_frz이면 모든 t ≥ t_s에 대해 a_t = a_{t_s}로 둔다. 그렇지 않으면 공간 마스크는 계속 갱신된다. 기본값은 τ_frz = 2τ_spa이며, 이 결정은 전환 단계에서 한 번만 내려지고 공간 선택에만 영향을 준다. 유한 비트 잠금(FBL)은 최근 K단계 안에 순간 비트 마스크에서 한 번이라도 선택된 비트의 편집 권한을 유지한다. m_t,n,d = max_{max(t_s,t-K+1)≤j≤t} { a_j,n * 1[Δ_j,n,d > τ_pow] }로 정의되며, K=1이면 순간 규칙으로 돌아간다. 잠금은 비트 값을 고정하는 것이 아니라 편집 권한을 유지하는 것이므로, 선택된 비트는 계속 예측과 랜덤 정제를 거친다. K단계 연속으로 선택 검사를 통과하지 못하면 권한을 잃는다. 기본값은 K=4다. 전체 프레임워크는 추가 학습, 외부 마스크, 어텐션 제어가 필요 없다고 주장한다.

어떻게 쓰나

실험은 PIE-Bench의 아홉 편집 범주에서 수행된다. 범주에는 객체 교체, 추가와 제거, 내용과 포즈 수정, 색상과 재질 수정, 배경 수정, 스타일 전환이 포함된다. RefineEdit은 추가 학습 없이 사전 학습된 GRN을 사용해 1024×1024 해상도로 이미지를 생성한다. 비교 대상은 흐름 기반의 FlowEdit, RF-Inversion과 확산 기반의 MasaCtrl, Prompt-to-Prompt(P2P), Pix2Pix-Zero, PnP, PnP-DirInv, LEDits++, ChordEdit이다. 지역 평가를 위한 전경 마스크는 Grounded-SAM으로 얻고 모든 방법이 공유하며, RefineEdit이 예측하는 동적 마스크와는 별개다. 기준 방법들이 실험 설정에서 512×512 이미지를 내므로 GRN 소스 이미지와 RefineEdit 출력을 평가 전에 512×512로 리사이즈한다. 구조 일관성은 Structure Distance로, 비편집 영역 보존은 PSNR, LPIPS, MSE, SSIM으로, 편집 프롬프트 정렬은 전체 이미지와 편집 영역의 CLIP 유사도(CLIP_tgt, CLIP_edit)로 측정한다. 하이퍼파라미터 t_s, τ_spa, τ_pow는 편집 범주별로 선택하고 K=4, τ_frz=2τ_spa로 고정한다. 각 추론은 단일 NVIDIA A100 GPU에서 실행된다.

전제와 한계

결과적으로 RefineEdit은 평가된 방법 중 PSNR, LPIPS, MSE, SSIM 네 가지 배경 보존 지표 모두에서 최고 점수를, 전체 이미지와 편집 영역 CLIP 두 지표에서도 최고 점수를 기록했다고 보고한다. FlowEdit와 비교해 PSNR을 5.33 dB 향상시켰고, 편집 영역 CLIP은 LEDits++보다 0.15 높으며 전체 이미지 정렬도 1위다. 다만 MSE와 CLIP의 이득은 크지 않고, Structure Distance에서는 FlowEdit가 더 강하다고 저자들은 밝힌다. 지연 시간은 단일 A100에서 1024×1024 편집당 26.77초로, FlowEdit와 비슷하고 RF-Inversion보다 낮으며 PnP와 PnP-DirectInv보다 약 3배 빠르다. 하이퍼파라미터 분석에서 τ_spa를 높이면 선택 영역이 줄고, τ_pow를 높이면 활성 비트 비율이 줄어 편집이 약해진다. 전환 단계는 너무 이르면 소스 레이아웃이 자리 잡기 전에 대상 의미가 퍼져 배경이 바뀌고, 너무 늦으면 원하는 변환이 불완전해진다. Figure 4에서는 t_s=18이 균형점으로 제시된다. 절제 실험에서 AdaSF가 없으면 로봇 손 근처 지붕과 배경으로 마스크가 퍼지고, FBL이 없으면 마스크는 국소적이지만 손가락이 완전히 편집되지 않는다. 두 메커니즘이 공간 제어와 편집 내용의 지속적 정제를 함께 균형 잡는다는 설명이다.

개발자 관점에서 이 논문은 GRN이나 HBQ 같은 이산 이진 토큰 기반 생성기를 다룰 때 편집을 별도 마스크나 어텐션 조작 없이 비트 수준 라우팅으로 구현할 수 있다는 설계를 제시한다. 프롬프트 기반 편집에서 배경 보존이 중요하고, 소스와 편집 프롬프트의 확률 차이를 편집 증거로 쓸 수 있는 모델이 있다면 RefineEdit의 전환 단계, 공간·비트 임계값, AdaSF와 FBL을 참고할 만하다. 실무에서는 범주별로 t_s, τ_spa, τ_pow를 조정해야 한다는 점, 평가가 512×512로 리사이즈된 뒤 이루어진 점, A100에서 편집당 26.77초가 걸린 점을 확인해야 한다. 또한 외부 마스크가 필요 없다는 주장은 Grounded-SAM 마스크를 평가에만 쓰고 편집 제어에는 쓰지 않는다는 전제 위에 있다.

저자들이 밝힌 한계와 전제도 분명하다. MSE와 CLIP의 개선은 완만하고 Structure Distance에서는 FlowEdit가 더 우수하다. 핵심 하이퍼파라미터를 편집 범주별로 선택하므로 하나의 보편 설정으로 모든 편집에 적용된다고 보기는 어렵다. 전환 단계의 조기·후기 분기 효과는 정성 비교만으로 구분되지 않는다고 논문은 말한다. AdaSF와 FBL의 정량 절제 결과는 본문이 아니라 부록 B.4에 제시되고, 임계값의 통제된 정량 비교도 부록 B.3에 있다. 방법은 사전 학습된 GRN에 의존하며, 추가 학습이 없다는 것은 GRN 자체의 사전 학습까지 불필요하다는 뜻이 아니다. 또한 기준 방법과의 공정 비교를 위해 RefineEdit의 1024×1024 출력을 512×512로 줄여 평가한다는 점도 해석 시 고려해야 한다.