슬라이더 편집 궤적을 정규화해 끊김 없는 연속 이미지 편집을 만든다

무엇인가

명령어 기반 이미지 편집 모델(FLUX-Kontext, Qwen-Image-Edit, FLUX.2, Nano Banana, GPT-Image 등)은 복잡한 자연어 지시를 잘 수행하지만, 결과가 한 번에 고정되는 원샷 편집이라 사용자의 미세한 의도를 정확히 맞추기 어렵다. 그래서 최근에는 편집 강도를 연속적으로 조절하는 슬라이더 제어가 도입됐다. 문제는 기존 슬라이더가 신뢰할 만한 연속성을 제공하지 못한다는 점이다. 슬라이더를 조금 움직였을 뿐인데 화면이 갑자기 튀고, 값이 커질수록 편집이 단조롭게 강해지지도 않으며, 여러 슬라이더를 동시에 쓸 때는 하나를 조절하면 다른 속성이 끌려간다. 게다가 기존 연구들은 제각각의 데이터셋과 임시 평가 프로토콜을 써서 방법 간 비교 자체가 어려웠다.

어떻게 동작하나

이 논문은 먼저 이 문제를 체계적으로 측정할 벤치마크 SlideBench를 만든다. Lighting, Composition, Camera, Environment, Character, Style, Object의 7개 대분류 아래 57개 세부 카테고리, 카테고리당 5개 샘플로 총 285개 샘플을 구성했고, 각 샘플은 원본 이미지와 두 의미적 끝점 사이를 잇는 편집 지시문 쌍으로 이뤄진다. 평가 지표는 세 축이다. 단조성(MP)은 슬라이더를 따라 증가하는 연속 프레임 쌍마다 VLM 심판 여러 명에게 어느 쪽이 편집이 더 강한지 순서를 무작위로 바꿔 물어 정답률을 평균한 값이다. 연속성은 연속 프레임 간 DINOv2 특징 거리의 표준편차에 음의 지수를 취해 균일도를 재고, 편집이 아예 안 걸린 슬라이더가 좋은 점수를 받지 않도록 최종 프레임의 편집 강도 e로 가중한다. 다중 슬라이더 분리도는 한 슬라이더만 움직인 1D 슬라이스에서 나머지 속성과의 정렬 점수가 얼마나 흔들리는지 평균 절대편차로 측정한다.

무엇과 다른가

제안 방법 SliderEdit++는 기존 SliderEdit 위에 얹힌다. SliderEdit은 각 레이어에 LoRA 어댑터를 넣고, 슬라이더 값 α를 0에서 1로 올릴수록 편집 지시의 효과를 점점 억제하도록 Partial Prompt Suppression 손실로 학습한다. α=0이면 원래 편집이 그대로 적용되고 α=1이면 중립 프롬프트("이미지를 그대로 유지") 쪽으로 수렴한다. 결정적 결함은 이 손실이 양 끝점 α=0과 α=1만 감독하고, 그 사이 구간은 LoRA 가중치를 그냥 선형 스케일링해 얻어진다는 점이다. 어댑터가 여러 트랜스포머 레이어를 통과하는 비선형 함수라서 가중치의 선형 보간이 출력의 선형 보간을 보장하지 않고, 그래서 중간값에서 예측 불가능한 도약이 생긴다.

어떻게 쓰나

저자들은 이 '감독되지 않은 내부'를 세 가지 보완 정규화로 직접 잡는다. 첫째, 속도공간 중간점 정규화는 무작위로 뽑은 두 스케일 α1, α2와 그 중간값 αm에 대해 중간점의 속도 예측이 양 이웃 예측의 평균과 같아지도록 벌점을 준다. 이웃 쪽에는 stop-gradient를 걸어 끝점을 건드리지 않고 곡선 내부만 아핀에 가깝게 만든다. 둘째, 의미공간 정규화는 같은 중간점 일관성을 잠재 속도가 아니라 픽셀 공간에서 디코딩한 원스텝 클린 이미지 추정값의 DINOv2-L 임베딩 위에서 건다. 잠재 공간에서는 안 보이지만 화면에서는 보이는 불연속을 잡기 위해서다. 셋째, 스펙트럼 정규화는 각 레이어의 유효 업데이트 αBℓAℓ의 최대 특이값 제곱을 벌점으로 준다. SliderEdit이 슬라이더를 매끄럽게 유지하려고 조기 종료에 의존했던 것을, 학습을 끝까지 돌리면서 α에 대한 어댑터 민감도를 직접 제한하는 방식으로 대체한 것이다. 다중 슬라이더에는 분리 정규화를 추가한다. 각 지시 i를 단독으로 최대 억제했을 때의 속도 변화 방향 δi를 구하고, 서로 다른 지시 쌍의 방향이 직교하도록 코사인 유사도의 절댓값을 벌점으로 준다. 최종 손실은 기존 PPS 손실에 세 정규화와 분리 정규화를 가중 합한 형태다.

전제와 한계

실험은 FLUX-Klein 4B 백본에 모든 선형 레이어마다 rank 32 LoRA를 주입하고, λ_vel=10.0, λ_sem=1.0, λ_spec=0.1로 1000 스텝, Adam 학습률 4×10⁻⁵, 전역 배치 32, H100 8장으로 학습했다. 추론은 1차 오일러 ODE 8 스텝이고, 평가는 슬라이더당 α를 균등 간격 8개 위치로 렌더링해 285개 샘플 전체에 대해 평균했다. 결과적으로 단일 슬라이더에서 단조성과 프레임 균일도 모두 기존 방법을 앞서며 최강 베이스라인 대비 종합 점수 18.5% 상대 향상을 냈고, SlideBench 7개 카테고리 전부에서 1위를 기록했다. 속도는 경쟁 슬라이더 방법 대비 약 3배에서 20배 빨라 성능-지연 트레이드오프에서도 우위를 보였다. 다중 슬라이더에서는 종합 점수가 0.7097에서 0.8811로 올랐다. 절제 실험에서 세 정규화는 각각 단독으로도 효과가 있었고 모두 결합했을 때 가장 좋았으며, 자동 지표가 사람 인식과 맞는지 확인하는 인간 평가에서도 베이스라인 대비 뚜렷한 선호를 얻었다.

논문은 추가로 마스크 조건부 슬라이더로 확장한다. 사용자가 지정한 영역에만 편집을 가두기 위해, 전체 이미지 편집을 수행하되 마지막 k=2 디노이징 스텝에서 마스크 바깥 잠재값을 원본을 다시 노이즈화한 값으로 치환하는 마스크드 잠재 블렌딩을 쓴다. 이렇게 하면 영역 내부 편집은 강하게 유지하면서 경계는 매끄럽게 남는다.

개발자 관점에서 이 논문의 실질적 가치는 '슬라이더가 튀는 이유'를 진단하고 처방을 준다는 데 있다. LoRA 가중치를 α로 스케일링하는 방식은 출력 공간에서 선형 보간을 보장하지 않으며, 학습이 길어질수록 어댑터의 스펙트럼 노름이 커져 네트워크가 다이얼이 아니라 스위치처럼 동작한다. 조기 종료로 버티는 대신 스펙트럼 노름을 손실에 넣고, 중간점 일관성을 속도와 지각 특징 공간 양쪽에서 강제하며, 다중 편집은 효과 방향의 직교화로 분리하는 이 조합은 다른 어댑터 기반 제어에도 그대로 이식 가능한 패턴이다. 다만 실제 도입 전에는 자신의 백본과 편집 카테고리에서 8스텝 추론 품질이 충분한지, VLM 심판 기반 지표가 자사 유스케이스의 미세 편집을 제대로 반영하는지 확인해야 한다.

한계로는 우선 저자들이 별도의 한계 절을 두지 않았다는 점을 들 수 있다. 본문에서 드러나는 전제는 분명하다. 평가가 VLM 판정과 DINOv2 특징이라는 자동 지표에 크게 의존하고(인간 평가로 일부 보정), 벤치마크가 285개 샘플 규모이며, 검증은 FLUX-Klein 4B 단일 백본에서만 이뤄졌다. 마스크 조건부 확장 역시 정성적 예시 중심으로 제시되어 정량 평가가 붙지 않는다. 또한 정규화 가중치 λ_vel, λ_sem, λ_spec 값이 특정 설정에서 선택된 하이퍼파라미터이므로 다른 백본이나 편집 종류로 옮길 때 재조정이 필요할 수 있다는 점도 실무에서 염두에 둬야 한다.