SoftPaint가 소프트 마스크로 픽셀 단위 편집 강도를 조절한다

무엇인가

확산 모델 기반 이미지·영상 편집은 텍스트 프롬프트나 참조 이미지로 결과를 유도하지만, 어디를 얼마나 바꿀지를 픽셀 단위로 지정하는 데는 여전히 거칠다. 기존 인페인팅은 이진 마스크로 그대로 보존과 완전히 새로 생성 중 하나를 강제하는데, 실제 사용자 의도는 그 사이 어딘가인 경우가 많다. 미소를 조금 더 넓히거나, 하늘의 대략적 배치는 유지한 채 노을로 바꾸는 식이다. 이 논문은 0과 1 사이 연속값을 갖는 소프트 마스크 r로 픽셀별 재생성 강도를 지정하는 문제를 다룬다. r=0이면 참조를 그대로 복원하고 r=1이면 참조를 무시한 자유 생성이며, 이는 이진 인페인팅을 특수 케이스로 포함하는 일반화된 문제다.

어떻게 동작하나

단순 블렌딩은 왜 실패하는가. 기존 이진 인페인팅처럼 x̂0 = (1-r)⊙x0ref + r⊙x̂0model로 혼합하면 서로 다른 두 clean 이미지가 섞여 블러가 생기고 확산 사전 확률이 낮아진다. 모델은 이 불일치를 줄이려 x̂0model을 x0ref 쪽으로 밀어붙이기 때문에 중간 r 값이 비례적인 편집을 만들어내지 못한다. SoftPaint는 참조 픽셀이 분산 Σ의 가우시안 노이즈로 부드러워졌다고 가정해 주변화하면 원래 확산 커널의 거듭제곱 p(x_t|x_0)^{β_t}에 비례한다는 사실을 이용한다. 여기서 β_t = (1-ᾱ_t)/(1-ᾱ_t+ᾱ_t Σ)이고, 여기에 classifier-free guidance처럼 (1+λ)를 곱해 참조 강도를 외삽한다. Σ는 소프트 마스크의 함수 Σ(r;η) = (1+2λ)(1-(1-r)^η)/((1-r)^η+ε)로 정의되며, 논문은 소거 실험을 근거로 η=2, ε=10⁻⁴를 쓴다. 이렇게 얻은 Unified Redo(UR) 스코어는 참조 분포의 스코어와 모델 스코어를 픽셀별 가중치 γ_t(r)로 섞은 형태다.

무엇과 다른가

UR 스코어는 현재 노이즈 샘플 x_t가 따라야 할 목표 분포를 정의하지만, 표준 역확산 스텝은 모델 분포를 따르도록 설계되어 있다. 그래서 각 확산 스텝 t에서 t-1로 내려가기 전에, UR 스코어를 드리프트로 하는 과감쇠 Langevin 역학을 짧은 내부 루프로 돌려 x_t를 보정한다. 강한 가이던스에서 단순 오일러 이산화가 불안정해지므로, 감쇠 계수 A_t를 둔 지수 적분기 형태의 Diffusion-Damped Langevin(DDL) 업데이트를 쓴다. 선택적으로 강하게 고정된 픽셀을 노이즈 낀 참조로 warm-start하는 redo-aware 초기화도 제공하는데, 이는 정상 분포를 바꾸지 않는 가속 휴리스틱이다. 전체적으로 그래디언트 계산이 없어 메모리 효율적이고, flow 모델과 ODE·SDE 기반 확산 모델 모두에 적용된다.

어떻게 쓰나

이미지 실험은 FlowEdit 벤치마크에 Qwen-Image 백본을 쓰고 20 디노이징 스텝을 돌린다. SoftPaint는 내부 반복 n=2, 스텝 크기 s=0.2, 가이던스 λ=5를 쓴다. 비교 대상은 연속 소프트 마스크를 지원하는 제로샷 기법인 Differential Diffusion(DD)과, 내부 Langevin 루프를 끈 Naive mixing(n=0), 그리고 참조점으로 Qwen-Image-Edit이다. r을 0에서 1.0까지 쓸어보면 SoftPaint의 CLIP-Text가 거의 선형으로 증가해 가장 매끄럽고, DD는 약한 편집 구간에서 둔감하며, Naive Mixing은 r>0.8까지 CLIP-T 약 29.0에 머물다 r=1.0에서 35.4로 튀어버린다. CLIP-Text를 맞춘 상태에서 SoftPaint는 더 낮은 LPIPS, 더 높은 PSNR, 더 높은 CLIP-IQA를 보이고 그 격차는 강한 편집에서 커진다. Qwen-Image-Edit은 CLIP-T 30.2, LPIPS 0.306으로 두 소프트 마스크 곡선에서 멀리 떨어져 있어, 편집 목표는 달성해도 참조 이미지에서 크게 벗어난다. 계산량을 맞춘 비교에서도 SoftPaint는 20 외부 스텝에 내부 2회를 더해 총 60 NFE를 쓰는데, DD를 60 스텝으로 돌려도 SoftPaint가 LPIPS와 PSNR에서 앞선다. 마스크를 네 개 세로 구역으로 나눠 r ∈ {1, 0.75, 0.5, 0.25}를 준 공간 가변 실험(CLIP-Text 33.0±0.2)에서도 SoftPaint가 네 가지 품질 지표 모두에서 DD를 앞선다.

전제와 한계

영상은 DAVIS-Edit 벤치마크에서 CogVideoX-5B와 Wan2.2를 공식 기본 스케줄로 돌린다. SoftPaint는 두 백본 모두 n=2, s=0.2를 쓴다. CLIP-Text를 맞춘 조건에서 SoftPaint가 DD보다 낮은 LPIPS, 높은 PSNR, 낮은 VFID를 기록하고, 중간에서 강한 편집으로 갈수록 격차가 벌어진다. Naive Mixing은 r<0.8 구간에서 CLIP-Text가 거의 움직이지 않다가 r=1.0에서 급등하면서 품질 지표가 무너진다. 정성적으로 CogVideoX의 Model Train에서 Wooden Train으로 가는 편집에서 SoftPaint는 r=0.4일 때 기관차 머리 질감이 바뀌기 시작하고, r=0.8이면 원래 형태는 유지된 채 객차가 목재로 바뀌며, r=1.0에서 기차 전체가 변환되는 단계적 진행을 보인다. 반면 DD는 r=0.8에서 이미 앞쪽 기차 구조가 사라지고 r=1.0에서 주변과의 이음새가 두드러진다.

실무적으로 이 방법의 핵심은 재학습이나 어댑터 없이 기존 확산 백본에 그대로 얹을 수 있는 샘플러라는 점이다. 소프트 마스크를 브러시 강도처럼 UI에 노출하면 사용자가 얼마나 바꿀지를 연속적으로 조절할 수 있고, 마스크를 여러 구역으로 나눠 다른 강도를 주는 것도 지원한다. 다만 내부 Langevin 반복이 스텝마다 네트워크 평가를 한 번씩 더 요구하므로, 지연 시간에 민감한 대화형 편집이라면 n과 s, λ, η 같은 하이퍼파라미터를 먼저 튜닝해야 한다. 또한 비교 기준이 CLIP-Text로 맞춰져 있다는 점을 기억해야 한다. 같은 편집 강도에서의 품질 비교이지, 절대적인 편집 강도 비교가 아니다.

저자들이 명시한 가장 큰 한계는 추론 속도다. 학습이 필요 없고 메모리 사용량은 표준 생성과 같지만, 내부 Langevin 반복마다 네트워크 평가가 한 번씩 추가되어 전체 생성이 백본 표준 샘플링보다 대략 2배에서 5배 느려진다. 논문은 이 지연이 대화형 편집과 대규모 배포에서 실질적 제약이 될 수 있다고 인정하면서, 제로 트레이닝 비용과 범용 호환성을 맞바꾼 합리적 트레이드오프라고 본다. 속도 개선은 향후 과제로 남긴다. 또한 이런 편집 능력이 실제 장면이나 인물을 조작하는 데 악용될 수 있다는 점도 함께 밝히고 있다.