SCOPE가 이미지 생성 프롬프트 재작성의 신용 할당을 의미 구간으로 묶는다

무엇인가

텍스트-이미지 생성 모델을 그대로 두고 언어 모델이 프롬프트를 다시 써서 품질을 올리는 강화학습 방식이 최근 주목받는다. 문제는 보상이다. 이미지 하나에서 나온 스칼라 보상 하나가 완성된 프롬프트의 모든 서브워드 토큰에 똑같이 적용된다. 그런데 객체·개수·색·공간 관계 같은 구성 요소는 의미 단위로 묶여 있고, 토크나이저가 자르는 서브워드 경계와 이 의미 경계는 일치하지 않는다. 논문은 이를 의미 신용 분절이라고 부른다. 구간별로 촘촘한 보상을 주면 해결될 것 같지만, 구간마다 이미지를 다시 렌더링해야 해서 비용이 감당되지 않는다.

어떻게 동작하나

SCOPE는 이 틈을 GRPO 위에 얹은 목적함수로 메운다. 재작성 정책은 강화된 프롬프트와 그 의미 구간 분할을 한 번의 완성으로 함께 생성한다. answer 필드 안에서 | 기호로 구간을 나누고, 정리 연산이 | 를 제거해 실제로 이미지 생성기에 들어갈 프롬프트를 만든다. 보상은 두 항의 합이다. GenEval·T2I-CompBench 평가 모델로 계산하는 이미지 정렬 항(0~1)과, answer 구조가 제대로 나왔는지 보는 형식 항(-0.25~0.25). 프롬프트 하나당 N=8개의 완성을 묶음으로 샘플링하고, 원본 프롬프트를 참조 항목으로 넣어 이득 추정에만 쓰고 정책 업데이트는 하지 않는다. 같은 묶음은 렌더링 시드를 공유해 이미지 생성 잡음을 통제한다.

무엇과 다른가

핵심은 토큰 손실에 거는 가중치다. 각 토큰에서 현재 정책과 업데이트 직전 정책의 로그 확률 차이를 구하고, 같은 의미 구간에 속한 토큰들의 차이를 평균낸다. 구간 길이에 따른 직접적 스케일링을 없애기 위해서다. 이 평균에 민감도 β를 곱해 지수화한 뒤 0.8~1.2로 클리핑해 원시 계수를 만들고, 토큰 수 가중 평균이 1이 되도록 정규화한다. 이 계수는 stopgrad로 분리해 완성 전체가 공유하는 이득에 곱한다. 즉 구간마다 별도 보상이나 별도 이득을 만들지 않고, 하나의 이득을 구간 사이에 재분배할 뿐이다. 구분자와 래퍼 토큰은 원래 이득을 유지한다. β=0이면 가중치가 모두 1이 되어 표준 GRPO로 정확히 되돌아간다. 추가 이미지 렌더링도, 학습된 critic도 필요 없고, 직전 정책을 한 번 더 통과시키는 비용만 든다.

어떻게 쓰나

실험은 Qwen3-8B를 재작성기로 쓰고 이미지 생성기는 Qwen-Image, SD3, FLUX.1-dev 세 개를 모두 고정했다. GenEval은 50,000개 중 10,000개, T2I-CompBench는 공식 학습 분할 4,200개로 학습했고 평가셋은 학습 데이터와 겹치지 않는다. GenEval 전체 점수는 Qwen-Image에서 0.91에서 0.95(상대 +4.4%), SD3에서 0.74에서 0.84(+13.5%), FLUX.1-dev에서 0.76에서 0.84(+10.5%)로 vanilla GRPO를 앞섰고, 세 백본 18개 범주 벤치마크 중 17개에서 엄격한 개선을 냈다. 특히 고질적 병목인 개수와 위치에서 개선이 크다. SD3는 Counting 0.58에서 0.79(+36.2%), Position 0.57에서 0.83(+45.6%)이고, FLUX.1-dev는 Position이 적응 없는 기저 0.16, GRPO 0.62에서 0.84로 올라 기저 대비 5배 이상이다. Qwen-Image에서는 두 객체 정확도 0.99, 속성 결합 0.88을 기록했다.

전제와 한계

T2I-CompBench에서는 세 백본 각각 보고된 6개 범주 전부에서 GRPO를 넘었고 평균이 Qwen-Image 6.7%, SD3 8.0%, FLUX.1-dev 8.2% 올랐다. 눈에 띄는 건 Qwen-Image에서 GRPO(0.6247)와 RePrompt(0.6246)가 적응 없는 기저(0.6280)보다 낮아지는 부정 전이가 나타났는데, SCOPE는 0.6665로 이를 완전히 해소하고 모든 개별 범주에서 기저와 GRPO를 모두 넘었다는 점이다. 복합 구성도 Qwen-Image에서 0.3921에서 0.4473으로 올랐다. 절제 실험은 방법의 근거를 더 분명히 한다. 구간으로 묶지 않고 토큰별 로그 확률 변화를 그대로 쓰면 세 백본 모두 표준 GRPO보다 나빠졌다. 의미 경계는 두고 가중치만 균일하게 둔 대조군은 0.90/0.75/0.76에 그쳐 SCOPE의 0.95/0.84/0.84에 못 미쳤고, 의미 구간을 무작위 경계(0.86)나 고정 3토큰 창(0.87)으로 바꾸면 Qwen-Image에서 8~9% 떨어졌다. 이득 규칙은 FLUX.1-dev에서 기저 차감 0.827, 그룹 정규화 0.832, 하이브리드 0.841로 하이브리드가 가장 좋았고, 셋 다 균일 GRPO 0.760보다 크게 앞섰다.

개발자 입장에서 이 논문의 실용적 함의는 명확하다. 이미지 생성기를 파인튜닝하지 않고 프롬프트 계층만 손보고 싶을 때, 보상 신호를 토큰 단위로 뿌리는 대신 의미 구간 단위로 묶는 것만으로 상당한 개선을 얻을 수 있다는 것이다. 다만 재작성기가 구간 분할을 함께 출력하도록 형식 보상으로 학습시켜야 하고, 그 정렬 품질이 방법의 전제가 된다. 실제 도입 전에는 자신의 도메인에서 구간-토큰 정렬률과 형식 보상 가중치, 민감도 β, 클리핑 범위 0.8~1.2 같은 하이퍼파라미터가 어떻게 상호작용하는지 확인해야 한다.

논문이 명시적으로 밝힌 한계 절은 제시된 본문에 없다. 대신 전제가 곳곳에 깔려 있다. 이미지 생성기는 고정되어 있어야 하고, 보상은 GenEval·T2I-CompBench 평가 모델에 의존하며, 재작성기가 정해진 출력 형식과 | 구간 표기를 안정적으로 생성한다는 가정 위에 서 있다. 저자들은 학습 롤아웃에서 구간-토큰 정렬이 99.2% 이상 정확했다고 보고하면서, 정렬되지 않는 0.8% 미만의 롤아웃은 가중치를 1로 두어 최적화 안정성을 보장한다고 적었다. 즉 이 방법의 성능은 재작성기의 구조적 출력 능력에 의존하며, 그 능력이 무너지는 모델이나 도메인에서는 이득이 보장되지 않는다.