EditAgent는 편집 도구와 판정 근거를 함께 넓혀 에이전트 이미지 편집의 실패를 줄인다

무엇인가

이 논문은 명령 기반 이미지 편집에서 여러 단계가 얽힌 복합 요청을 다룬다. "나를 화면 왼쪽으로 옮기고, 해변이 더 보이게 넓히고, 뒤에 걷는 사람들을 지우고, 노을처럼 만들어라" 같은 요청은 기존 편집기가 일부만 처리하고 나머지를 조용히 누락시키기 일쑤다. 에이전트형 편집 시스템은 요청을 단계로 분해해 계획-편집-판정 루프를 돌리지만, 단계가 실패하면 대개 같은 좁은 도구 집합으로 다시 시도하고, 판정기는 원본·편집본·지시문만 보고 눈대중으로 점수를 매긴다. 저자들은 이런 에이전트가 두 개의 공간, 즉 에이전트가 할 수 있는 일의 범위인 행동 공간과 판정기가 볼 수 있는 범위인 관찰 공간에 의해 제한된다고 주장한다.

어떻게 동작하나

이를 뒷받침하려고 30개 세부 편집 유형별 20세트, 총 600개 편집 세트로 진단 벤치마크를 만들었다. 유형은 Content, Style & Effects, Scene, Photometric, Geometry, Enhancement의 여섯 그룹에 걸치고, 각 세트에는 원본 이미지와 지시문, 그리고 범용 편집기(FLUX.2-klein-9B) 샘플과 마스크 국소 편집·객체 제거·광도 연산 같은 특화 방법에서 나온 후보 2~4개가 들어간다. 전문 Photoshop 리터처 5명이 함께 앉아 사용 가능한 후보를 모두 고르고 이를 승자 집합이라 불렀다. 결과는 승자 집합이 범용 편집기 후보만으로 구성된 세트가 254개(42.3%), 특화 후보만인 경우가 175개(29.2%), 둘 다인 경우가 90개(15.0%), 사용 가능한 후보가 하나도 없는 세트가 81개(13.5%)였다. 모든 세트에 범용 편집기 후보가 포함되므로 범용 편집기는 256개 세트(42.7%)에서 실패했고, 특화 방법이 그중 175개를 회수했다. 편집 그룹별 편차도 커서 Style & Effects는 73.8%가 범용 편집기만으로 승자가 나온 반면, Enhancement는 72.5%, Geometry는 66.7%가 특화 후보만으로 승자가 나왔다.

무엇과 다른가

범용 편집기의 샘플을 늘리는 것으로는 이 실패가 메워지지 않았다. 같은 VLM 판정기를 붙여 범용 편집기 여러 샘플 중 하나를 고르는 풀과, 특화 방법까지 포함한 풀을 비교했더니 전달된 편집이 사용 가능했던 비율이 45.2% 대 68.2%였다. 정확히 한쪽 전달본만 사용 가능했던 296개 세트 중 217개가 특화 방법을 포함한 풀에서 나왔다. 또 하나의 실험은 순차 정제와 병렬 탐색을 비교한다. 동일 편집기와 판정기, 이미지 생성 4회 예산으로, 순차 정제는 VLM 피드백 3회와 최종 선택 1회 호출이 필요하고 병렬 탐색은 원본에서 독립적으로 후보 2개를 생성한 뒤 필요하면 프롬프트를 고쳐 2개를 더 만들어 최대 2회 호출로 끝난다. Complex-Edit의 복잡도 1·4·8 단계 144개 샘플에 대한 블라인드 비교에서 전문가 5명은 병렬 탐색을 102회, 순차 정제를 28회 선호했고 14회는 동률이었다. 즉 비동률 비교의 78.5%에서 병렬이 이겼고 판정 호출은 절반 이하였다. 편집은 원본에 충실해야 하는데 순차 정제는 자기 출력을 계속 고치므로 오차가 누적된다는 것이 저자들의 설명이다.

어떻게 쓰나

판정에 관한 진단도 핵심이다. EditScore-72B, EditReward-7B, CLIP-I, Qwen3.8-27B를 후보 하나씩 채점하는 방식으로 비교했을 때, 사용 가능한 후보가 최소 하나 있는 515개 세트에서 어떤 판정기도 모든 그룹에서 최고가 아니었다. EditScore-72B가 전체 정확도는 가장 좋았지만 Scene에서만 최고였고, 세 그룹에서 최고인 Qwen3.8-27B는 Photometric에서 무작위 대비 5.2포인트 높은 수준에 그쳤다. 원본과 가장 가까운 후보를 선호하는 CLIP-I는 변화가 작은 Photometric과 Enhancement에서는 최고였지만, 눈에 보이는 변화가 필요한 Style & Effects와 Geometry에서는 무작위 수준 이하였다. 선호도 파인튜닝이 해법인지도 따져보는데, EditScore 계열은 EditReward-Bench에서 65.9~70.3%(4회 앙상블 시 76.3%)인 반면 기성 VLM은 단일 채점만으로 71.7~73.8%, 후보를 한 번에 나란히 보여주는 목록형 판정으로는 85.2~86.1%까지 올라간다. 판정기가 "어떻게 학습됐는가"보다 "무엇을 보는가"가 더 중요할 수 있다는 주장이다.

전제와 한계

EditAgent의 구조는 다음과 같다. 플래너가 요청을 순서 있는 편집 단계로 분해하고, 분석기가 각 단계의 편집 연산과 대상을 지정하며, 그라운더가 마스크가 필요한 방법을 위해 VLM과 SAM 2.1로 대상을 국소화하고, 라우터가 적용 가능한 편집 방법을 골라 각 방법이 최소 하나의 후보를 병렬로 내놓는다. 행동 공간은 범용 편집기 외에 SAM 2.1 마스크 안에서 범용 편집기를 돌리는 마스크 국소 편집·재채색, OSOR 기반 객체 제거, 전용 모델을 쓰는 객체 이동, 분할·합성 기반 피사체 스케일링, 전역·국소 광도 연산자, 스타일 필터와 뉴럴 스타일 전이, 플립·회전·수평 맞춤 회전, 크롭+초해상도 줌인과 아웃페인팅 줌아웃으로 확장된다. 관찰 공간은 후보마다 변경 맵, 편집 영역 확대 컷, 측정된 색과 기하, 프로그램 검사 결과를 담은 검증 기록을 붙여 넓힌다. 판정기는 지시문, 원본, 모든 후보와 그 기록을 한 번의 목록형 호출로 받고, 후보 하나를 수락하거나 재시도를 위한 피드백을 돌려준다. 수락된 이미지는 다음 단계의 원본이 되고, 이후 턴에서는 이전 턴들의 결과와 현재 이미지, 원본을 함께 보여 각 이전 요청이 여전히 성립하는지 확인하는 이력 검사를 수행하며, 위반이 확실하면 보정 턴을 한 번 돌리되 단계 판정기가 수락할 때만 채택한다.

효과는 수치로 제시된다. Qwen3.8-27B 판정기의 경우 단일 채점 71.6%에서 목록형 비교로 73.6%, 여기에 검증 기록을 더해 81.3%가 되었고, 이는 진단 벤치마크에서 가장 강한 판정기인 EditScore-72B(74.8%)보다 6.5포인트 높다. 기록 없이는 어떤 기성 VLM judge도 74.8%에 못 미쳤지만 기록을 붙이면 7개 판정기 모두 네 개의 파인튜닝 리워드 모델을 앞서고, Qwen3.8-Flash-Next는 82.8%까지 오른다. 개선 폭은 6.3~9.3포인트다. 편집 성능은 EdiVal(572개 3턴 세션), Complex-Edit(8,496개), ComplexBench-Edit(763개)에서 측정했고, Qwen-Image-Edit-2511과 FLUX.2-klein-9B 두 백본 모두 향상됐다. 1024px 설정의 Qwen-Image-Edit-2511은 EdiVal-O 3턴에서 59.80에서 62.58로 올랐고, ComplexBench-Edit 평균은 두 백본이 각각 6.43포인트와 3.06포인트 상승해 다섯 그룹 전부 개선됐으며, Complex-Edit 전체 점수는 0.074와 0.036 올랐다. 수락된 단계 중 특화 방법이 담당한 비중은 19~31%다. 에이전트 편집기 7종과의 비교에서는 3턴 점수 59.45로 최강 에이전트인 RISE-Agent의 58.42를 앞서고 세 턴 모두 최고였다. 절제 실험에서 기본 에이전트가 EdiVal-O 3턴 47.64를 49.43으로 올리고, 행동 공간 확장이 2.94포인트, 관찰 공간 확장이 3.09포인트를 더한다. 범용 편집기를 K개 복제해 병렬 비교해도 K=2·4·8에서 47.53, 48.90, 49.01에 그쳐, 도구 다양성이 단순 샘플링으로 대체되지 않음을 보여준다.

데이터 엔진으로서의 쓰임도 실험으로 확인된다. 판정기가 수락하지 않은 편집을 표시하므로 완전히 수락된 세션만 학습 데이터가 되고, FLUX.2-klein-9B를 범용 편집기로 써서 약 25.7K 세션(세션당 평균 4턴)을 모았다. 동일한 입력에 최종 이미지만 바꿔, 직접 생성한 FLUX.2-klein-9B 데이터와 비교해 Qwen-Image-Edit-2511과 FLUX.2-klein-base-9B를 1에폭 완전 파인튜닝했더니 EditAgent 데이터가 세 벤치마크 모두에서 더 좋았다. EdiVal-O 3턴에서 각각 1.95, 2.00포인트, ComplexBench-Edit 평균은 3.17, 2.14포인트 상승이다. 특히 직접 생성 데이터는 FLUX.2-klein-base-9B를 세 벤치마크 모두에서 악화시킨 반면 EditAgent 데이터는 개선했다.

개발자 입장에서 이 논문의 실용적 메시지는 두 가지다. 첫째, 복합 편집 파이프라인에서 실패한 단계에 같은 도구로 재시도하는 루프는 한계가 있으니, 마스크 국소 편집·객체 제거·기하/광도 연산 같은 결정론적 도구를 라우팅 후보로 함께 두는 것이 생성기를 더 샘플링하는 것보다 낫다. 둘째, VLM 판정기를 쓸 때 원본·편집본·지시문만 주지 말고 변경 맵, 영역 확대, 측정값, 코드 검사 결과를 함께 넣고 후보를 한 번에 비교하게 하면 파인튜닝된 리워드 모델을 앞설 수 있다. 다만 판정기가 보는 정보의 설계가 성능을 좌우하므로, 편집 유형별로 어떤 검증 기록이 필요한지(변화가 작은 색·보정 편집과 눈에 띄는 변화가 필요한 스타일·기하 편집이 서로 다르다)를 먼저 정의해야 한다.

저자들이 밝힌 한계는 명확하다. EditAgent는 단독 편집 모델 대비 약 10배의 추론 시간이 들고, 성능은 밑에 깔린 편집 방법들의 능력에 본질적으로 제한된다. 다만 수락된 세션으로 더 강하고 더 효율적인 단독 편집기를 파인튜닝하는 데이터 엔진 역할을 하면 이 계산 비용을 상각할 수 있다는 것이 저자들의 설명이다.