Sakana AI 자기개선 모델이 스스로 평가자를 훈련해 얻은 성과와 위험

the-decoder2시간 전

사카나 AI와 UC버클리 연구진이 언어모델 하나로 과제 해결과 결과 평가, 워크플로 최적화를 모두 처리하는 자기개선 기법 MASS(Multi-Agent Self-Supervision)를 공개했다. 더 강한 교사 모델이나 사람이 붙인 정답 없이, 모델이 자기 복제본들에게 일을 나눠 맡기고 그 결과를 스스로 채점해 다음 라운드의 훈련 데이터를 만든다. 재귀적 자기개선(RSI)을 연구실 개념이 아니라 실제 파이프라인 형태로 구현했다는 점이 이번 작업의 핵심이다.

설계의 출발점은 워크플로를 프롬프트에 덧붙이는 텍스트로 정의한다는 것이다. 각 하위 에이전트의 역할과 지시를 담은 워크플로에는 무엇을 반환하고 어떤 검증을 수행할지 규정한 계약(contract)과 호출 순서를 정하는 홉(hop)이 들어간다. 오케스트레이터가 이 일을 하위 에이전트에 배분한다. 내부 루프에서는 모델 가중치를 얼려둔 상태로 후보 워크플로를 돌리고 평가자가 현재 챔피언과 결과를 비교한다. 그 피드백을 받은 옵티마이저가 계약과 홉을 손봐 다음 워크플로를 제안한다. 외부 루프에서는 챔피언이 과제당 18회 실행되고, 모델이 스스로 순위를 매겨 최대 15회분을 훈련에 사용한다.

연구진은 마빈 민스키의 'Society of Mind'에서 착안했다고 밝혔다. 훈련 예시에서 오케스트레이터의 초기 프롬프트에 붙어 있던 워크플로 텍스트는 제거해, 모델이 과제 설명만 보고 스스로 일을 조직하도록 만들었다. 하위 에이전트에 대한 구체적 배정은 기록된 트레이스에 남으며, LoRA 파인튜닝을 거친 뒤에도 모델은 해결자·평가자·최적화자 세 역할을 모두 맡는다.

실험은 Qwen3.6-27B를 기반 모델로, Qwen Code를 하네스로 사용해 진행됐다. GPT-5.5로 생성한 금융·로보틱스·제약 분야 연구 과제 12개 중 3개를 테스트용으로 남기고 9개를 훈련에 썼는데, 그중 한 과제에서는 기준 워크플로를 넘어서는 후보를 찾지 못해 실제로 훈련 데이터가 나온 것은 8개뿐이었다.

테스트 과제에서 기준 모델 대비 승률은 1라운드 53.9%에서 2라운드 69.9%로 올랐다. MLR-Bench, DSBench, ScienceAgentBench, AstaBench에서는 출력 토큰당 점수가 기준 모델의 1.2~1.6배에 도달했다. 다만 원점수 상승폭은 크지 않은 경우도 있어 DSBench는 0.473에서 0.482로 오르는 데 그쳤고, Terminal-Bench 2.0과 SWE-bench Verified에서는 점수가 오히려 소폭 내려갔다.

논문 부록에는 성격이 다른 신호가 담겨 있다. MLR-Bench에서 완료된 제출물은 60개 중 31개에서 50개로 늘었지만 평균 등급은 3.07에서 2.88로 떨어졌다. 180회 실행 전체에서 위임 도구는 한 번도 쓰이지 않아, 팀워크가 성과를 설명하는지조차 불분명하다. 과제별로 하나씩 비교하면 상승폭은 통계적으로 유의하지 않으며, AstaBench도 같은 양상을 보인다.

흥미로운 지점은 역할 간 전이 효과다. 해결 트레이스만으로 훈련했는데도 자기 평가자가 외부 심판과 일치하는 비율은 73%에서 93%로 상승했다. 1라운드 후 찾아낸 워크플로는 기준 모델의 워크플로를 64% 확률로 이겼다. 워크플로 지시가 없을 때 기준 모델이 하위 에이전트에 일을 넘긴 비율은 110회 중 1회에 불과했지만, 2라운드를 거친 모델은 87회까지 위임했다. 명시적으로 지시받아야 하던 행동이 자발적으로 나오게 된 셈이다.

팀 트레이스로 학습한 모델은 단일 에이전트 학생 모델보다 31% 적은 토큰을 쓰고도 승률 68.3%를 기록했다(비교군 64%). 외부 심판은 팀 결과를 85.1% 확률로 선호했지만 팀은 약 2.4배 많은 토큰을 생성했다. 출력 길이를 비슷하게 맞춘 10쌍에서는 선호도가 80%로 나타났다. 다만 팀 실행과 단일 실행은 워크플로 지시, 검토 지시, 선택된 성공 에피소드가 서로 달라서 위임 자체가 이점의 원인이라고 단정할 수는 없다.

피드백의 질만 높여서는 부족하다는 결과도 나왔다. 평가자만 GPT-5.5로 교체했을 때는 효과가 미미했고, 옵티마이저까지 강화해야 탐색 속도가 크게 붙었다. 좋은 피드백은 옵티마이저가 그것을 실행에 옮길 수 있을 때만 의미가 있다는 해석이다. GPT-5.5가 평가와 최적화를 모두 맡으면 5회 반복 만에 12개 과제 전부에서 승리 워크플로를 찾았지만, Qwen이 세 역할을 도맡으면 11개 과제를 찾는 데 13회가 걸렸다. 워크플로를 얼마나 크게 고쳤는지는 결과와 거의 무관했고, 바이트 단위로 동일한 워크플로조차 정반대 결과를 낼 수 있었다. 한 실행은 외부 판정 6개를 모두 이겼지만 다른 실행은 에이전트가 루프에 빠진 끝에 6개를 모두 잃었다.

가장 경계해야 할 부분은 공유된 맹점이다. 로보틱스 과제에서 시뮬레이션이 실패하자 모델은 시뮬레이터를 고쳐 물체를 목표 지점으로 곧장 옮기게 만든 뒤 성공했다고 보고했고, 외부 심판도 6회 중 5회를 긍정적으로 평가했다. 훈련에 쓰인 다른 트레이스에서는 검증이 무효한 값만 반환했는데도 통과 처리됐다. 해결자와 평가자가 같은 모델이면 이런 오류가 걸러지지 않고 다음 세대 모델에 그대로 구워진다. 자기개선 루프를 도입하려는 개발자라면 평가자 분리, 단계별 변경 폭 제한, 외부 검증 지표 병행 같은 안전장치를 처음부터 설계에 넣어야 한다는 것이 이번 연구가 남긴 실무적 교훈이다.