SGE-Goal은 목표 이미지를 로봇 제어 타깃으로 바꾼다

무엇인가

이 논문은 로봇 조작 정책에 주는 목표 이미지를 '보기 좋은 편집 결과'가 아니라 '제어 타깃'으로 다뤄야 한다고 주장한다. 기존에는 Gemini 3 Pro Image나 GPT Image 1.5처럼 일반 이미지 편집 품질이 높은 모델이 더 좋은 목표를 만들 것이라 가정했지만, 저자들은 CALVIN에서 두 개의 고정된 목표 조건 정책(GR-MG, GHIL-Glue)을 써서 그 가정이 틀렸음을 보인다. 정책 성공은 조작 준수성, 즉 올바른 물체를 고르고 올바른 최종 상태로 옮겼는지와 거의 직결되며(스피어만 ρ≈0.9), 사실적 렌더링과 미적 품질은 성공률과 거의 무관하다(ρ≈0).

어떻게 동작하나

SGE-Goal의 학습 데이터는 수작업 라벨 없이 로봇 영상에서 (I_o, I_e, M_i, M_f, T) 튜플로 자동 추출된다. I_o는 조작 전 원본, I_e는 조작 후 편집 프레임, M_i는 조작 대상 동적 물체의 초기 위치 마스크, M_f는 조작 후 위치 마스크, T는 지시문이다. 파이프라인은 EVF-SAM과 BLIP-2로 로봇 팔 마스크를 확인해 첫 프레임을 고르고, SAM과 XMem으로 물체를 분할·추적하며, LoFTR 특징 매칭과 K=2 KMeans로 동적 물체와 정적 물체를 분리한다. 로봇 팔과 동적 물체 마스크가 더 이상 겹치지 않는 '해제' 시점을 조작 후 프레임으로 잡고, 텍스트가 없는 데이터는 비디오 VLM으로 지시문을 만든다. 복합 지시문은 원자 단계로 분해하고, 생성된 목표 이미지를 다음 단계의 입력으로 넘기는 방식으로 체인 평가를 지원한다.

무엇과 다른가

추론은 세 단계다. 먼저 지시문에서 대상 물체 이름을 파싱하고 Florence-2와 Grounding DINO 후보 박스를 BLIP-2 VQA로 검증한 뒤 SAM으로 픽셀 단위 초기 마스크 M_i를 만든다(학습 없음). 다음으로 LoRA로 미세조정한 이미지-투-이미지 모델이 (I_o, T, M_i)를 입력받아 최종 마스크 M_f를 예측한다. 이때 원본과 M_i 잠재벡터는 깨끗한 조건으로 두고, 목표 M_f 잠재벡터만 rectified-flow 스케줄로 노이즈를 섞어 속도장 vθ를 학습한다. 손실은 L_flow = E[||vθ(M_f^t,σ) − (ε − M_f^0)||²]이며, 이 속도장에서 한 스텝 깨끗한 마스크 추정값을 복원한다. M_f가 이진 마스크라 RGB 채널이 같아야 하므로 σ<0.35일 때 채널 일관성 손실 L_chan을 더하고 λ_chan=25를 쓴다. 마지막으로 두 번째 LoRA 모델이 (I_o, T, M_i, M_f)로 목표 이미지 I_e를 합성하며, 합집합 마스크 M_∪=max(M_i,M_f) 밖의 변화를 벌하는 정적 장면 일관성 손실 L_static을 λ_static=7로 더한다. 이 분해가 공간 추론과 외형 합성을 분리해 배경 드리프트나 환각 같은 지름길을 줄인다는 것이 저자들의 설명이다.

어떻게 쓰나

저자들은 왜 이런 차이가 나는지 분석하려고 15차원 진단 평가기를 만든다. 조작 준수성(R14 출발, R15 도착), 물체 보존(R1–R4), 사실성(R13), 장면 아티팩트(R5–R12)를 점수화하고, 준수성 60%, 물체 보존 24%, 사실성 8%, 장면 아티팩트 8%의 계층 가중 순위 평균으로 합산한다. 사람이 주석한 278개 삼중항에서 인간 판단과 91.7% 일치해 I2I-Bench의 71.2%보다 높다. 자동 추출 튜플 품질은 50명 주석자가 데이터셋별 500개를 1–5점으로 평가해 최저 평균 4.44/5였다. 실험은 BridgeDataV2, CALVIN-ABCD, LIBERO-10/90 결합 데이터를 파이프라인으로 처리해 각각 약 41k/22k/6.5k 학습 튜플과 2k/1.1k/376 테스트 튜플을 만들고, FLUX.1 Kontext와 FLUX.2 klein을 SGE-Goal로 미세조정해 Qwen Image Edit, SuSIE, Clover, GPT Image 1.5, Gemini 3 Pro Image와 비교한다. 핵심 지표는 고정된 GR-MG와 GHIL-Glue 정책의 다운스트림 성공률이며, CALVIN에서는 체인 길이 1–5, SIMPLER-Bridge에서는 WidowX 원자 과제 4개를 24 에피소드씩 평가한다.

전제와 한계

CALVIN에서 SGE-Goal 목표 이미지는 두 정책 모두, 모든 체인 길이에서 가장 좋은 성공률을 냈다. GR-MG, 체인 길이 1에서 FLUX.1 Kontext 기반 SGE-Goal은 73.1%로 정답 목표 오라클 73.6%에 거의 맞먹고, 미세조정 전 베이스 50.3%에서 +22.8포인트 올랐다. Gemini 3 Pro Image의 63.3%보다 +9.8포인트 높다. 두 정책의 생성기 순위 상관은 ρ=0.96으로 거의 같아 특정 정책의 우연이 아니다. 체인 길이 5에서는 SGE-Goal이 73.1%에서 30.9%로 떨어지는 동안 Gemini는 63.3%에서 4.4%, SuSIE는 55.8%에서 1.0%로 붕괴해, SGE-Goal이 최고 상용 편집기보다 약 7배 높은 성공률을 유지한다. 또 SGE-Goal 이미지+텍스트 조건은 텍스트만 조건보다 모든 체인 길이에서 우세해 CL=1 73.1% 대 59.0%, CL=5 30.9% 대 0.2%였다. 저자들은 공간적으로 근거한 편집 영역만 바꾸기 때문에 오류가 천천히 누적되고, 얽힌 편집기는 배경 드리프트와 불필요한 변화가 체인에서 치명적으로 쌓인다고 해석한다.

SIMPLER는 1,500개 이상의 simulated-and-real paired rollout에서 실제 로봇 성공률과 강하게 상관하는 실세계 정렬 프록시다. SIMPLER-Bridge에서 GHIL-Glue로 평가했을 때 SGE-Goal은 FLUX.2 klein 10.4, FLUX.1 Kontext 8.3으로 오픈 생성기 중 최강이자 전체 2위였고, Gemini 3 Pro Image의 12.5에만 뒤졌다. SuSIE는 7.3이었는데, GHIL-Glue가 SuSIE의 저수준 정책이라 SuSIE 목표가 가장 분포 내임에도 SGE-Goal 두 변형이 앞섰다. 반면 일반 이미지 편집 품질로 줄을 세우면 Gemini가 자체 평가기 1위, GPT가 I2I-Bench 1위를 차지하지만 다운스트림에서는 중간권에 머문다. 편집 품질 총점과 정책 성공의 상관은 두 평가기 모두 ρ≈0.67에 그쳐 상위 방법 순서를 뒤집는다. 15차원 분석에서는 출발·도착 조작 준수성이 CALVIN 두 정책에서 |ρ| 0.79–0.92, SIMPLER-Bridge에서 0.85와 0.66으로 성공을 강하게 예측한 반면, 사실성·아티팩트·전체 이미지 품질은 CALVIN에서 |ρ|≲0.25, Bridge에서 0.02로 약했다. CALVIN 순열 검정에서 출발 준수성 ρ=0.98(p<10⁻³), 도착 준수성 ρ=0.92(p=0.001), 사실성 ρ=0.03(p=0.95)이었다. SGE-Goal은 준수성에서 앞서지만 사실성 점수는 낮다. 절제 실험에서도 최종 마스크가 핵심이어서 FLUX.1 Kontext를 GR-MG 체인 길이 1에서 60.1%에서 73.1%로, GHIL-Glue에서 13.8%에서 29.2%로 끌어올렸고, 마스크 없는 미세조정은 긴 체인에서 베이스보다 떨어지기도 했다.

개발자 관점에서 이 논문은 목표 이미지 생성기를 고를 때 이미지 편집 리더보드가 아니라 실제 정책의 다운스트림 성공률로 평가해야 한다는 실무 지침을 준다. SGE-Goal은 A10G 한 장에서 단계당 약 10.6초에 돌고 전부 오픈 모델로 재현 가능하며, 코드·데이터셋·체크포인트·평가기를 공개했다. 다만 한계도 분명하다. 공간 근거는 2D 이미지 평면의 마스크일 뿐 3D 기하·깊이·카메라 자세를 추론하지 않아 큰 스케일 변화, 시점 변화, 심한 자기 가림에 취약하다. 진짜 편집을 수행하므로 주변 물체를 적게 건드리는 모델보다 더 흔들 수 있고, 장점은 최소 변경이 아니라 조작 준수성과 정책에 해로운 불필요 변화 억제에 있다. 평가 범위도 CALVIN 두 정책과 SIMPLER-Bridge에 한정되며 실제 로봇 롤아웃은 다음 단계다. 데이터 생성이 여러 대형 기반 모델을 연결해 계산 비용이 크고 분포 밖 물체·시점·질감에서 깨질 수 있다는 점도 저자들이 인정한다.