APT가 이미지 생성 모델의 약점을 스스로 진단해 훈련 데이터를 만든다

무엇인가

텍스트-이미지(T2I) 모델의 후속 학습은 지금까지 사람이 주도해 왔다. 실무자는 모델이 어디서 실패하는지 눈으로 확인하고, 그 실패에 해당하는 학습 데이터를 모으거나 합성하고, 경험적으로 데이터 분포를 계속 조정한다. 이 논문은 이 워크플로가 노동 집약적이고 모델·벤치마크·사용자 요구가 다양해질수록 확장하기 어렵다고 지적한다. 더 근본적인 문제의식은 후속 학습이 모델 적응적(model-adaptive)이어야 한다는 것이다. 베이스 모델마다 능력 분포가 크게 다르기 때문에, 어떤 모델에 효과적인 학습 데이터셋이 다른 모델에도 최적이라는 보장이 없다. 저자들은 각 베이스 모델 M이 자신만의 능력·실패 분포 p_M을 유도한다고 보고, 핵심 질문을 "어떻게 최적화할 것인가"가 아니라 "현재 모델에게 무엇을 학습시킬 것인가"로 재정의한다. 이 관점은 갱신된 모델의 평가 결과가 다음 라운드의 학습 과제를 결정하는 재귀적 자기개선(RSI)과 자연스럽게 연결된다.

어떻게 동작하나

제안하는 APT(Agentic Post-Training)는 세 개의 에이전트를 조율해 이 루프를 자동화한다. 첫째, 평가셋 생성 에이전트는 사용자가 준 평가 범위를 구조화된 평가 스위트로 바꾼다. 범위가 없을 때를 위한 범용 평가 하네스도 별도로 만들어, Human·Object·Animal·Plant·Scene·Food·Event·Fictional World·Text·UI/Graphic Design 같은 범주에서 하위 범주와 항목을 계층적으로 생성하고(예: Human 아래 Occupation, 그 아래 Researcher·Doctor), 항목마다 속성·공간 관계·개수·상호작용·색상 같은 서술 차원을 1~4개 무작위로 붙여 프롬프트를 합성한 뒤, 프롬프트별 루브릭을 최대 10개까지 만든다. 이렇게 구성된 평가셋은 2,609개의 프롬프트-루브릭 쌍이다. 둘째, 진단 에이전트는 라운드마다 평가셋에서 120개의 프롬프트-루브릭 쌍을 무작위로 뽑아 현재 모델로 이미지를 생성하고, 각 루브릭에 대한 이진 점수를 매겨 인스턴스 수준 결과를 만들고 이를 모아 평가 리포트를 구성한다. 셋째, RL 데이터 생성 에이전트(GPT-5.4로 구현)는 이 리포트에서 반복되는 실패 패턴을 요약해 이번 라운드의 학습 프롬프트 480개와 그 루브릭을 생성한다. 이때 대다수 프롬프트는 반복적으로 약한 능력을 겨냥하고, 일부는 중간 수준과 이미 강한 능력을 덮어 다양성을 유지한다.

무엇과 다른가

학습 목표는 라운드 단위로 정의된다. 프롬프트 p와 이미지 x에 대해 보상 r(x,p)는 해당 프롬프트의 루브릭 집합 R에 속한 각 기준 ρ를 비전-언어 평가자 V(GPT-4.1-mini)가 이진 판정한 값의 산술 평균이다. 라운드 t의 목표 J(M_t)는 데이터셋 D_t에서 뽑은 (p,R)과 모델이 생성한 x에 대한 이 기대 보상이며, 설정된 RL 알고리즘이 유한한 스텝 동안 이를 높인다. 전체 갱신은 진단(Diag)과 데이터 생성(G)으로 D_t를 만들고, RL 갱신 연산자 U로 M_{t+1}을 얻는 결합 형태다. 갱신된 모델을 다시 평가해 다음 라운드의 학습 데이터를 만들기 때문에, 학습이 모델의 능력 프로파일을 바꾸고 그 변화가 다시 다음 학습 과제를 바꾸는 재귀적 결합이 생긴다. 구현상 라운드마다 20 최적화 스텝을 돌린다.

어떻게 쓰나

실험은 모델 비의존성과 아키텍처 비의존성을 확인하는 방향으로 설계됐다. 확산 기반 모델 네 개(Lens, SD3.5-Medium, FLUX.1[dev], LongCat-Image)와 자기회귀 이미지 생성기 Janus-Pro에 같은 에이전트 워크플로를 그대로 적용했고, 모델별 프롬프트셋·보상 설계·하이퍼파라미터 탐색은 하지 않았다. 기본 RL 알고리즘은 DiffusionNFT, Janus-Pro에는 GRPO를 썼고, LoRA(rank 64, alpha 128, 학습률 3e-4)로 학습했다. 평가는 GenEval, GenEval2, OneIG-EN, DPG, CVTG-2K 다섯 벤치마크에서 수행했으며, 학습 프롬프트 구성에는 이 벤치마크들을 전혀 쓰지 않았다. 스케일이 다른 점수를 맞추기 위해 GenEval·OneIG-EN·CVTG-2K를 0~100으로 재조정한 정규화 평균도 함께 보고한다. 저자들이 본문에서 끌어내는 결론은 두 가지다. APT는 사람 전문가가 큐레이션한 강한 후속 학습 베이스라인보다 네 모델 모두에서 평균 성능이 일관되게 높았고, 벤치마크별 프롬프트나 튜닝 없이 단일 APT 실행으로 만든 모델 하나가 대부분의 벤치마크에서 베이스 모델을 앞섰다. 다만 이 본문에는 표의 구체적인 수치가 제시되지 않아 개선폭의 크기는 확인할 수 없다.

전제와 한계

절제 실험은 설계의 각 요소가 실제로 기여한다는 근거를 댄다. 한 모델용으로 생성한 RL 데이터를 다른 모델 학습에 쓴 전이 실험에서, 각 행마다 자기 모델용으로 적응 생성한 대각선 설정이 가장 좋은 평균 성능을 냈다. 즉 모델 간 데이터 전이는 일관되게 열등하며, 효과적인 후속 학습 분포는 모델 특정적이라는 가설을 뒷받침한다. 평가셋 생성 에이전트를 떼고 OneIG-EN이나 GenEval 평가셋으로 진단을 대체하면 특정 능력 쪽으로 진단이 치우쳐 벤치마크 전반의 균형 개선이 나빠졌고, APT가 자동 생성한 평가셋이 가장 좋았다. 라운드마다 재진단하지 않고 새 프롬프트만 계속 생성하는 변형은 성능이 일관되게 떨어졌다. 진단 기준의 일부를 제거하거나 가장 어려운 능력만 샘플링하는 전략도 전체 전략보다 열등했다. RL 데이터 생성 에이전트의 LLM 백본을 바꿔도 Lens에서 상당한 평균 성능 향상이 유지됐고, 자기회귀 생성기 Janus-Pro에서도 베이스 모델과 수작업 RL 베이스라인을 모두 앞섰다.

개발자 관점에서 이 논문의 실용적 가치는 "무엇을 학습시킬지"를 자동화하는 루프 구조에 있다. 자체 이미지 생성 모델을 파인튜닝하면서 실패 사례를 사람이 수집·분류하는 대신, 평가 루브릭을 프롬프트별로 자동 생성하고 그 점수를 진단 신호로 삼아 다음 학습 데이터를 뽑는 파이프라인을 참고할 수 있다. 특히 모델별로 학습 분포를 새로 만들어야 한다는 실험 결과는, 여러 베이스 모델을 운영하거나 모델을 계속 갱신하는 팀에게 데이터 재사용 전략을 재검토하게 만든다. 도입 전에 확인할 점도 분명하다. 진단과 보상이 모두 GPT-4.1-mini 비전-언어 평가자의 이진 판정에 의존하므로, 평가자 자체의 편향과 비용이 전체 루프의 품질과 처리량을 좌우한다. 또 루브릭 품질이 곧 학습 신호의 품질이기 때문에, 자동 생성된 루브릭이 실제 요구사항을 반영하는지 표본 검수가 필요하다.

한계와 전제는 논문에 흩어져 제시된다. 저자들은 별도의 한계 절을 두지 않았지만, 방법론 곳곳에 가정이 깔려 있다. 평가셋이 다양한 생성 시나리오와 능력을 넓게 덮는다는 전제, 각 프롬프트에 여러 루브릭이 붙어 성공·실패의 원인에 대한 구조적 증거를 준다는 전제, 그리고 GPT-5.4급 언어 모델이 여러 평가 예시를 가로질러 반복 패턴을 요약·추론할 수 있다는 전제 위에 서 있다. 능력 분포 p_M을 명시적으로 추정하는 별도 추정기를 학습하지 않고 진단과 데이터 생성으로 암묵적으로 근사한다는 점도 방법의 성격을 규정한다. 또한 벤치마크 점수 스케일이 서로 달라 정규화 평균을 별도로 보고한다는 점, 그리고 본문에 구체적 수치가 실려 있지 않아 실제 개선폭은 표를 직접 확인해야 한다는 점을 감안해 읽어야 한다.