Axion 1.0은 두 번의 SFT와 강화학습만으로 에이전트 성능을 확보한다

무엇인가

최근 LLM은 응답 생성기를 넘어 검색·코드 실행·도구 호출을 묶어 다단계로 문제를 푸는 에이전트로 이동하고 있다. 문제는 그 뒤의 학습 파이프라인이 계속 비대해진다는 점이다. continued/mid-training, 여러 SFT 단계, 능력별 데이터 믹스, 선호도 최적화, 강화학습, 추가 후처리가 층층이 쌓이면서 어떤 요소가 실제로 필요한지 판별하기 어려워졌고, 재현 비용도 커졌다. 게다가 많은 "오픈" 모델은 가중치만 공개하고 데이터 구축·필터링·검증·프롬프트·학습 절차는 감춘다. 이 논문은 "강한 에이전트를 만드는 데 이 복잡도가 얼마나 필요한가"를 묻고, Axion 1.0이라는 완전 공개 모델로 답한다.

어떻게 동작하나

학습은 세 단계뿐이다. 1단계 SFT는 자기완결적 추론을 담당한다. 공개 강의자료·경시대회·추론 데이터셋에서 수학·물리·화학·생물·CS 문제-정답 쌍을 모아 시드로 삼고, 생성 LLM이 시드의 풀이에서 확립된 양을 필수 중간 결과로 요구하는 새 문제를 만든다(composition). 이어 베이스 모델에게 검색·웹페이지 방문을 막고 파이썬만 허용해 문제를 풀게 한 뒤, 틀리면 그대로 후보에 넣고 맞히면 그 성공 풀이를 생성기에 넘겨 네 가지 난이도 강화 연산 중 하나를 무작위 적용한다. 의존 추론 단계 추가, 고정값을 기호 매개변수로 치환, 매개변수 범위 확장, 케이스 분기 도입이다. 목표는 길이나 수치 정밀도가 아니라 요구되는 추론량을 늘리는 것이다. 정답은 베이스 모델 예측과 독립적으로 GPT-5.5가 세 번 풀어 세 풀이가 모두 일치하고 유도 과정이 검증을 통과할 때만 인정하며, 재작성 때마다 정답을 새로 확립한다. 이후 별도 LLM이 파이썬만으로 문제를 풀어 정답이 맞고 도구 호출·출력 형식이 유효한 궤적만 남긴다.

무엇과 다른가

2단계 SFT는 도구 의존 추론으로 확장한다. 생물·화학·수학·지리·항공 등 공개 구조화 데이터베이스에 필터(조건으로 후보 집합 생성), 선택(최대·최소 등으로 단일 엔티티 확정), 계산(추가 속성을 가져와 결정적 수식·단위 변환으로 파생값 산출), 자연어화(LLM이 문장으로 바꾸되 계산된 정답 보존)의 네 단계를 적용해 문제를 만든다. 예로 목성형 행성 중 질량이 가장 작은 것을 고르고 평균 밀도를 물으면, 해왕성 계열이 아니라 천왕성을 특정한 뒤 질량과 반지름으로 밀도를 계산해야 한다. 구성 시점에 프로그램이 유효 레코드 존재, 극값의 유일성(다음 후보와 충분한 격차), 필요 속성 존재를 검사하고, 여러 DB에 걸친 과제는 식별자로 단계를 연결한다. 결정적으로 구축용 DB 테이블 접근을求解 시점에 차단하고 일반 검색·웹페이지·파이썬만 허용하며, 검색 없이도 풀리는 문제는 폐서적으로 걸러낸다. 그래서 정답 암기가 아니라 정보 탐색과 근거 기반 계산이 학습 대상이 된다. 이 데이터에는 중간 검증 목표(z)가 함께 저장된다.

어떻게 쓰나

학습 자체는 간단하다. 두 SFT 모두 전체 상호작용을 직렬화하되 어시스턴트가 생성한 토큰(추론, 도구 호출, 최종 답)에만 손실을 건다. 시스템·사용자 메시지와 도구 관측은 문맥만 제공한다. RL은 2단계 체크포인트에서 verl 프레임워크의 비동기 GRPO로 수행하며, 검색·웹페이지·학술 검색·파이썬과 상호작용하는 궤적을 생성한다. 보상은 정답이면 1, 틀리면 max(0, 0.3P − 0.1(1−A))다. P는 의존 순서로 집계한 중간 진척도로, m개 목표에 대해 각 목표까지의 선행 목표가 모두 검증됐을 때만 그 단계가 인정되는 누적 곱의 평균이다. A는 유효한 최종 답 제출 여부로, 답을 내지 않고 진척만 쌓는 궤적을 감점한다. RL 문제는 현재 모델로 궤적 4개를 샘플링해 최소 하나가 정답이고 보상 분산이 0이 아닌 경우에만 학습에 쓴다.

전제와 한계

평가는 35B-A3B(Qwen3.6-35B-A3B 초기화)와 122B-A10B(Qwen3.5-122B-A10B 초기화) 두 구성으로 HLE, BMB(인간 난이도 부분집합), SEAL-0, HiPhO, FrontierScience Olympiad·Research에서 이뤄졌다. 전체 HLE에서 35B는 52.2%, 122B는 59.0%(Hugging Face 등 차단 기준)이고, 접근 제한을 풀면 각각 59.1%, 64.8%다. 같은 규모의 Agents-A1 대비 35B는 HLE +4.6%p(52.2 vs 47.6), SEAL-0 +5.8%p(62.2 vs 56.4), FrontierScience Olympiad +7.0%p(86.0 vs 79.0)다. FrontierScience Research는 35B 56.7%, 122B 66.7%로 Agents-A1 40.0%, GPT-5.5 26.7%를 크게 앞서고, 122B는 GPT-5.6 Sol의 63.3%도 3.4%p 웃돈다. 반면 BMB에서는 122B가 41.7%로 GPT-5.6 Sol 47.1%, Claude Fable 5의 46.1%에 못 미친다. 35B→122B 확대는 6개 중 5개 벤치마크를 올렸고(Research +10.0%p, HLE +6.8%p, BMB +6.4%p), SEAL-0만 62.2%에서 58.6%로 내려갔다.

단계별 기여도 숫자로 제시된다. 1단계 SFT에서 35B의 HLE-130은 47.7%→59.2%, HiPhO 38.6%→45.9%, Olympiad 71.0%→83.0%, Research 26.7%→48.3%로 뛰었고, 122B는 HLE-130 40.8%→68.5%, Olympiad 65.0%→85.0%다. 다만 35B의 BMB는 23.5%→17.6%로 떨어졌다. 2단계에서 35B는 BMB 17.6%→35.3%, Research 48.3%→58.3%, SEAL-0 50.5%→53.2%, HLE-130 59.2%→66.2%가 됐고 122B는 BMB 29.4%→35.3%, Research 56.7%→65.0%다. RL은 35B의 HLE-130을 66.2%→70.0%, SEAL-0을 53.2%→62.2%로 올렸지만 HiPhO −1.1%p, Research −1.6%p로 일부는 후퇴했다. 122B는 BMB +6.4%p, HLE-130 +6.1%p, SEAL-0 +5.4%p다. 인프라도 공개됐다. Megatron-FSDP와 expert parallelism 8, Ring Attention·Ulysses 기반 컨텍스트 병렬로 128K 토큰 궤적을 32GPU에서 학습하며, 122B는 1·2단계 합쳐 7시간 30분(240 GPU-hours), 35B는 2시간 48분(약 90 GPU-hours)이 걸렸다. RL 쪽은 vLLM 롤아웃과 Megatron 트레이너 사이 토큰 불일치를 TITO로, MoE 전문가 라우팅 불일치를 R3로 보정한다.

실무자에게 이 논문의 값어치는 세 가지다. 첫째, 학습 단계 수를 줄이는 대신 데이터 난이도 설계와 자동 검증 가능성에 투자하는 전략이 벤치마크 수치로 뒷받침된다. 둘째, 필터-선택-계산-자연어화처럼 정답을 프로그램이 먼저 확정하고 질문을 나중에 만드는 순서는, 검증 가능한 에이전트 과제를 대량 생산하려는 팀이 그대로 참고할 만한 레시피다. 셋째, 중간 진척에 부분 점수를 주되 의존 순서를 강제하는 보상식은 긴 궤적에서 흔히 발생하는 "그럴듯하지만 미완인 답"을 억제하는 실용적 장치다. 도입 전에는 1단계 SFT가 BMB 같은 데이터 분석형 벤치마크를 오히려 떨어뜨린 사례와, RL이 벤치마크별로 이익과 손실이 갈리는 점을 확인해야 한다.

저자들이 명시한 전제와 한계도 분명하다. 35B와 122B 비교는 서로 다른 베이스 아키텍처를 쓰고 둘 다 RL을 거쳤으므로 통제된 규모 스케일링 실험이 아니라고 밝힌다. 외부 보고 수치를 인용한 베이스라인은 도구 접근과 실행 설정이 달라 교차 출처 비교는 엄밀한 통제가 아니라 참고용이라는 단서를 붙인다. R3의 효과도 비동기 정책 staleness와 컨텍스트 압축의 오프폴리시 효과가 로그 확률 진단에 섞여 있어 벤치마크 차이를 R3 단독으로 귀속하기 어렵다고 인정한다. 또한 4B·9B 변형은 RL 없이 두 SFT 단계만으로 학습해 소형 모델에서의 이득이 제한적이며, 일부 벤치마크는 벤치마크별 접근 제한(예: BMB는 승인된 웹사이트만) 아래에서 측정됐다.