Strategist가 추론 전략을 코드로 진화시켜 라이브러리에 축적한다

무엇인가

AI 에이전트 시스템의 절반은 모델이고, 나머지 절반은 추론 전략이다. 모델 호출을 어떻게 엮어 응답으로 바꿀지 결정하는 절차라는 뜻이다. 논문은 이 두 번째 절반이 지금까지 사람 손으로 작성되고, 한 시스템에서 얻은 설계 경험이 다음 과제로 전혀 이어지지 않는다는 점을 문제로 잡는다. 프롬프트를 쓰고, 돌려보고, 조정하고, 일단 동작하면 그대로 고정되는 부분, 즉 스스로 개선되지 않는 부분이라는 지적이다. 기존 자동화 연구들도 있었다. 전략 공간을 코드나 고정 컴포넌트 조합으로 탐색하거나, 입력을 기존 전략으로 라우팅하거나, 과제마다 하나의 전략을 학습·진화시키는 방식이다. 저자들은 이들이 개별 벤치마크에서 손설계를 이기지만 거기서 멈춘다고 본다. 고정된 집합 위의 탐색이나 라우팅은 새 전략을 발견할 수 없고, 학습 기반 옵티마이저는 과제가 바뀌면 처음부터 다시 시작해야 한다. 목표는 설계를 자동화하는 것을 넘겨 누적되게 만드는 것이다.

어떻게 동작하나

표현 형식이 먼저다. 저자들은 Strategy Blueprint를 도입하는데, 과제별 프롬프트를 걷어내고 추론 흐름의 구조만 남긴 파이썬 프로그램이다. 모든 블루프린트는 execute(llm, task) -> str 하나의 인터페이스를 노출하고, 단일·멀티턴 대화를 뜻하는 chat과 스캐폴드·도구를 포함하는 agent라는 두 가지 기반 위에 만들어진다. 인터페이스가 하나이므로 어떤 블루프린트든 다른 블루프린트의 내부 컴포넌트로 호출될 수 있고, 그 위에 다시 조합이 쌓이면서 라이브러리의 깊이가 자연히 늘어난다. 또 하나의 설계 축은 모델 티어 라우팅이다. 전략 내부에서 fast, balanced, complex 세 티어를 각각 nothink와 thinking 두 모드로 지정할 수 있어, 모든 추론 단계에 같은 수준의 지능을 쓸 필요가 없어진다. 논문은 이 내부 라우팅이 하나의 전략이 정확도와 비용 효율을 동시에 갖게 하는 장치라고 설명한다.

무엇과 다른가

블루프린트는 측정 카드와 경험 노트, 즉 언제 잘 되고 언제 안 되는지에 대한 이전 전략가들의 분석과 함께 공유 라이브러리에 축적된다. 라이브러리에는 네 가지 규약이 붙는다. 공유 인터페이스, 순방향 호출 금지, 사이클 금지, 중복 금지다. Strategist 자체는 질문에 답하는 대신 답하는 전략을 설계하는 메타 에이전트로, 모델은 동결된 채 학습 없이 네 단계를 반복한다. 먼저 TF-IDF와 임베딩 유사도를 섞은 하이브리드 검색으로 라이브러리를 조회하는데, 색인 대상이 구조가 아니라 측정된 행동과 경험 노트까지 포함하므로 유사도만으로는 안 잡히는 전략도 끌어온다. 여기에 다른 도메인의 인접 영감도 함께 받는다. 다음으로 회당 K=5개의 후보를 제안하되 new, composed, reuse 세 종류를 최소 하나씩 포함해 탐색과 활용을 맞춘다. 평가는 두 층이다. 후보 전략이 실제 입력을 처리하는 에이전트 층에서는 전체 추론 트레이스와 실행 상태, 점수를 관찰하고, 메타 층에서는 그 관찰로 다음 제안을 고친다. 데이터는 네 갈래로 나뉜다. 학습 세트는 점수와 전체 트레이스까지 보여주고, 검증 세트는 집계 점수만 보여주며, 히든 세트는 반복 전체에 걸친 최종 전략 선택에 쓰고, 테스트 세트는 탐색 루프에서 완전히 배제한다. 마지막으로 라이브러리에는 전략이 아니라 블루프린트를 저장한다. 과제 특화 프롬프트는 버리고 재사용 가능한 구조만 남기는 것이 교차 과제 전이의 핵심이다.

어떻게 쓰나

실험은 수학, 코드, 상식, 멀티홉 QA, 지식, 논리, 추천의 일곱 범주에 걸친 40개 벤치마크에서 이뤄졌다. 이 중 무작위로 고른 30개가 주 결과이고 10개는 원샷 검색용으로 홀드아웃했다. 각 벤치마크는 최대 100개씩의 학습·검증·히든 세트와 고정 200개 테스트 세트로 쪼갠다. 과제 모델은 Qwen3-0.6B를 fast, 1.7B를 balanced, 4B를 complex로 두고 각각 nothink와 thinking을 켜서 총 6개 구성이다. Strategist 역할은 Codex CLI로 접근하는 별도의 동결 LLM인 GPT-6가 맡아 전략만 쓰고 문제는 풀지 않는다. 베이스라인은 18종이며 모두 같은 과제 모델을 쓰고 인터넷 접근이 없다. 18 곱하기 6, 즉 벤치마크당 108개 셀이 생기는데, 논문의 베이스라인 BL은 그중 학습 스플릿에서 가장 정확한 셀을 골라 테스트 세트로 평가한 것이다. 배포 상황, 즉 손에 있는 적은 표본으로 방법을 고르고 같은 분포의 더 큰 표본에 적용하는 것을 흉내 낸 설정이다. 지표는 정확도와 가중 비용이고, 비용은 fast를 1배, balanced를 2.83배, complex를 6.67배로 가중한 토큰 사용량이다.

전제와 한계

결과는 30개 중 24개 승리다. 2개는 무승부(MBPP+, MinervaM), 2개는 정확도를 내주고 비용을 얻은 쪽(MedQA, AIME), 2개는 같은 정확도에 비용이 9%와 6% 더 높아 진 쪽(HotpotQA, COPA)이다. 평균 정확도는 74.0%에서 74.7%로 오르고 가중 비용은 39% 줄었다. 벤치마크별 비용 비율의 평균은 BL 대비 0.61배이고, 30개 중 26개에서 비용을 2% 넘게 깎았다. 폭이 큰 사례를 보면 SQuAD v2가 73.2%에서 79.1%로 오르면서 비용은 0.23배, 2WikiMQA가 0.34배 비용에 4.0포인트 상승, SAT-Math가 0.41배에 3.6포인트, LSAT-RC가 0.50배에 3.0포인트다. TruthfulQA는 4.5포인트, Amazon-Rec는 4.0포인트, LSAT-AR는 3.4포인트 올랐다. 반대로 MMLU, GSM8K, ASDiv, SciQ, MMLU-STEM-Hard처럼 모델이 정확도 천장에 가까운 벤치마크에서는 정확도를 2포인트 이내로 유지한 채 비용을 66~89% 줄이는 쪽을 택했다. 24개 승리 중 다수는 Strategist가 설계한 전략에서 나왔고, 일부는 탐색 중에 발견된 더 단순한 베이스라인 스크립트가 같은 정확도를 더 싸게 낸 경우다.

누적이 실제로 값을 하는지는 따로 측정했다. 30개 주 실행을 거치며 라이브러리는 1,865개 블루프린트로 자랐다. 홀드아웃 10개 벤치마크에서는 탐색 없이 라이브러리에 한 번만 질의해 상위 5개 블루프린트를 인스턴스화하고, 최대 300개 개발 질문으로 재보고, 고른 하나를 테스트 세트에 돌렸다. 결과는 평균 77.8%에서 81.4%로, 10개 전부 BL 정확도 2포인트 이내에 들고 8개에서 앞서며 6개에서 승리했다. BoolQ, SIQA, DROP은 더 정확하지만 단일 호출로 처리하는 아주 싼 BL보다 비쌌고, QUALITY는 같은 정확도에 7% 더 들었다. 모델 전이도 확인했다. Qwen3에서 찾은 전략의 코드와 프롬프트를 한 줄도 바꾸지 않고 GPT-5(nano, mini, full)와 Gemini-2.5(flash-lite, flash)에 옮겼을 때 GPT-5에서는 10개 중 7개 승리, Gemini에서는 8개 승리였고 USD 기준 총비용은 각각 35%, 40% 떨어졌다. GPT-5 쪽 격차에는 self_refine이나 multi_agent_debate 같은 베이스라인 워크플로가 새 백엔드에서 형식이 깨진 응답을 내는 반면, 발견된 전략은 수정 없이 돌아간 몫도 있다.

논문이 든 전략 해부 사례는 실무에 바로 참고할 만하다. Amazon-Rec용으로 설계된 한 전략은 값싼 호출로 사용자 프로필을 만들고 브랜드·카테고리 신호를 뽑은 뒤, 취향이 흔들리는 사용자에게만 조건부로 멀티에이전트 토론을 라우팅하고 마지막에 상위 후보를 병합·감사한다. 비싼 호출을 모든 입력에 균등하게 쓰지 않고 답을 실제로 바꾸는 입력에만 쓰는 구조로, 분기 자체는 값싼 결정론적 로직이다. 결과물이 평범한 파이썬이라 읽고 고칠 수 있다는 점도 저자들이 내세우는 차이다. 과적합은 학습과 검증 트레이스, 히든 점수를 매 반복 보는 구조상 위험한데, 30개 벤치마크 평균에서 학습과 히든 곡선의 격차는 1.2~2.5포인트로 유지됐다. 다만 선택 자체는 운에 기댄다. 최종 전략은 히든 스플릿 최고 성적으로 뽑히는데, 30개 평균으로 히든에서 BL보다 4.3포인트 높지만 테스트에서는 0.7포인트에 그친다(BL 자체도 0.5포인트 흔들린다). 저자들은 아무것도 선택하지 않은 테스트 스플릿만이 편향 없는 추정이라며 모든 표에 그 값을 실었다고 밝힌다. 한계도 명시적이다. Strategist가 모든 벤치마크에서 파레토 개선을 이루지는 않는다. MedQA와 AIME 2024는 각각 0.44배, 0.77배로 싸지만 정확도가 4~5포인트 낮고, HotpotQA와 COPA는 정확도는 같아도 비용이 약간 더 든다. 비용은 토큰 사용량을 티어 가중한 값이지 지연시간이나 실제 청구 금액이 아니다.