LongZero가 외부 데이터 없이 LLM 장문 추론을 스스로 훈련한다

무엇인가

이 논문은 LLM의 장문 추론을 강화학습으로 끌어올리려면 길고 다양하고 어려우며 자동 검증 가능한 훈련 데이터가 필요한데, 사람이 주석을 달기는 비싸고 자연 발생 데이터는 RL이 소비할 만큼 충분하지 않으며 기존 합성법은 외부 코퍼스나 더 강한 교사 모델에 의존한다는 문제를 다룬다. 실제 사실 기반 데이터는 모델이 주어진 컨텍스트 대신 파라메트릭 지식으로 답할 수 있고 평가 데이터와 겹칠 수 있다는 교란도 있다. 기존의 zero-data RL은 수학·코드·게임·도구 사용 같은 짧은 컨텍스트 과제에서 성과를 냈지만, 장문 과제는 긴 입력과 그에 대한 질문을 모델이 동시에 만들어야 해서 어렵다. 긴 문서를 먼저 쓰고 질문을 만드는 방식은 아직 장문 추론을 못 하는 모델이 방금 쓴 긴 텍스트를 신뢰성 있게 검증해야 하는 약점을 그대로 물려받는다. 저자들의 핵심 관찰은 생성 순서를 뒤집는 것이다. 질문·근거·정답을 짧은 구조화 명세로 먼저 고정하고, 그 다음에 근거를 긴 다문서 컨텍스트로 확장하면 정답이 장문 생성 전에 이미 정해진다.

어떻게 동작하나

LongZero는 훈련 대상 모델 πθ가 스스로 두 종류의 장문 과제 데이터를 합성하고, 그 데이터로 GRPO를 수행한다. 추론 데이터는 가상 세계 명세를 엄격한 JSON 형태 S=(V,F,F-,Q)로 먼저 작성하는 방식이다. V에는 명명된 엔티티가 들어가며 적어도 두 사람이 성을 공유하고 적어도 두 조직이 혼동하기 쉬운 이름을 갖도록 한다. F에는 질문 체인을 이루는 원자적 사실이 들어가고, 각 질문 q의 체인은 Hq개의 홉을 가지며 F-에는 같은 브리지 엔티티를 쓰지만 역할·시간·속성이 다른 Kq개의 방해 사실이 들어간다. 질문은 중간 엔티티를 ‘잡지 모회사의 창립자’처럼 서술로 지칭해 각 홉을 해결해야 하고, 정답은 사실에 그대로 등장하는 구체적 이름·장소·제품·제목·숫자여야 한다. 이후 모델은 모든 사실을 M개 문서에 배분하면서 각 질문의 지지 사실을 서로 다른 문서에 흩고, 방해 사실은 그것이 흉내 내는 사실에서 떨어뜨린다. 각 문서는 계획된 장르로 독립 작성되고, 프로그램이 M개 문서를 섞은 뒤 정답 또는 동등한 별칭이 확장 텍스트에 그대로 등장하는 질문만 남기는 충실성 게이트를 적용한다. 난이도는 |x|·Hq·Kq에 비례한다는 관계를 설계 지침으로 쓰며, 명세가 짧아서 생성과 검증이 상대적으로 안정적이고 장문 생성 전에 정답이 고정된다.

무엇과 다른가

검색 데이터는 MRCR 형식을 따른다. 모델이 ‘write a {format} about {noun}’ 같은 요청에 R번 응답해 자기 글 풀을 만들고, 프로그램이 대상 요청을 고른 뒤 그 요청에 대한 응답 N개를 니들로 삼아 다른 요청 응답들 사이 무작위 위치에 넣어 대화 길이를 맞춘다. 마지막으로 무작위 문자열 s를 앞에 붙여 k번째 니들을 재현하라고 요청한다. k번째 응답을 프로그램이 정하므로 참조 정답 y*=s||ak는 구성상 정확하고, 모델은 자기 자신의 거의 비슷한 응답들을 구분하고 순서를 추적해야 한다. 난이도 필터링도 자기 자신이 한다. 각 질문에 전체 컨텍스트로 소규모 샘플 묶음을 답하게 하여, 맞힌 답과 틀린 답이 모두 나온 불안정 구간의 질문만 남기고 첫 W개 답이 일치하면 버린다. 이렇게 모아 훈련셋은 추론 질문 2,304개와 검색 대화 1,152개를 2:1로 섞는다. 검색 데이터는 훈련 1,152개, 검증 128개다. Qwen3-8B는 자기 질문 중 13.1%만 남겨 Qwen3-4B-Thinking-2507의 17.7%보다 적게 유지했고, 같은 양의 데이터를 얻으려면 더 많은 합성이 필요했다.

어떻게 쓰나

RL은 GRPO로 수행한다. 같은 프롬프트에 대한 G개 출력의 평균 보상을 베이스라인으로 쓰고, 그룹 정규화 보상을 각 토큰의 어드밴티지로 삼는다. 손실은 DAPO처럼 그룹 내 모든 토큰을 평균하는 토큰 수준 정책 경사 손실이며, KL 페널티는 보상이 아니라 손실에 더하고 k3 추정기로 토큰별 계산한다. 보상은 데이터 출처별 규칙 기반이다. 추론 데이터는 출력의 마지막 ‘The answer is’ 뒤 텍스트가 참조 정답 또는 별칭을 단어 경계로 포함하고 그보다 최대 L자만 길면 1, 아니면 0이다. 검색 데이터는 사고 부분 이후 최종 답이 접두사 s로 시작하지 않으면 0이고, 그렇지 않으면 나머지와 니들 ak의 difflib SequenceMatcher 유사도로 부분 점수를 준다. 훈련 설정은 Qwen3-4B-Thinking-2507 72스텝, Qwen3-8B 108스텝이며, 스텝당 64개 프롬프트와 G=8 응답, 학습률 1e-6, ε=0.2, β=0.001, 최대 프롬프트 32,768토큰과 응답 8,192토큰을 쓴다.

전제와 한계

실험은 두 모델과 다섯 장문 추론 벤치마크에서 이뤄졌다. LongBench의 다문서 QA 하위셋인 HotpotQA, 2WikiMultihopQA, MuSiQue를 F1로 평가하고, LongBench v2의 503개 사지선다, FRAMES의 위키피디아 문서 기반 824문항, 72K–115K토큰 문서 묶음 위 100문항인 AA-LCR, LongReason 32K 분할의 794개 사지선다를 쓴다. 베이스라인은 LoongRL 방식으로 16K토큰까지 방해 문서를 붙인 HotpotQA 5,120문항과, Qwen3.5-397B-A17B가 Ultra-FineWeb 문서 클러스터 위에서 작성·검증한 교사 합성 QA다. 교사 합성 QA는 각 베이스 모델이 8번 중 1–7번 맞힌 2,304문항만 남기고 같은 자기 합성 검색 데이터와 2:1로 섞어, 추론 질문의 출처만 다르게 했다. 저자들은 표 2에서 LongZero가 두 모델 모두 평균 최고점을 냈다고 보고한다. 두 모델 모두 5개 중 4개 벤치마크에서 최고이며 Qwen3-8B의 AA-LCR은 동점으로 센다. 예외는 Qwen3-4B-Thinking-2507의 AA-LCR과 Qwen3-8B의 LBv2다. 397B 교사 모델이 만든 질문을 쓴 베이스라인도 LongZero를 넘지 못했다. Qwen3-4B-Thinking-2507에서는 모든 벤치마크가 개선됐고, 훈련 세계가 전부 가상인데도 실제 위키피디아 엔티티를 다루는 LB1과 FRAMES가 좋아졌다. 반면 베이스라인들은 Qwen3-8B에서 각각 두 벤치마크가 베이스 모델보다 낮아졌고, LongZero는 LBv2에서만 낮아졌다. Qwen3-4B-Thinking-2507의 Enhanced HotpotQA 베이스라인은 HotpotQA로 훈련했는데도 LB1의 HotpotQA 하위셋을 개선하지 못했다.

데이터 종류의 상보성도 보고된다. 추론 데이터만으로는 LB1과 FRAMES에서 개선의 대부분을 얻지만 AA-LCR과 LongReason에서는 베이스 모델보다 낮아지고, 검색 데이터만으로는 평균이 떨어진다. 둘을 합치면 평균이 각각보다 낫고, LongZero의 2:1 혼합은 5개 중 4개에서 가장 좋으며 모든 벤치마크를 베이스 모델보다 개선해 각 데이터가 단독으로 일으키는 손실을 피한다. 1:1보다 2:1이 나은 점에 대해 저자들은 추론 데이터가 주도하고 검색 데이터가 기본 신호로 작용해야 한다고 해석한다. 훈련 컨텍스트는 수만 토큰 수준으로 LBv2와 AA-LCR이 요구하는 수 배 긴 입력보다 짧지만, Qwen3-4B-Thinking-2507은 두 벤치마크 모두에서 개선됐다. 다만 Qwen3-8B는 AA-LCR에서 모든 방법이 거의 0점이고, LongZero의 AA-LCR 응답 200개 중 120개가 최종 답을 포함하지 못했다. 72K–115K토큰 입력에 YaRN으로 확장한 131K 윈도우가 출력 여유를 거의 남기지 않아 사고 모델이 답을 내기 전에 토큰이 소진되는 경우다. Qwen3-8B는 평가 시에만 YaRN 배율 4를 적용하고 RL 훈련에는 쓰지 않는다.

개발자 관점에서 LongZero는 외부 코퍼스나 더 큰 교사 모델 없이 장문 추론용 RL 데이터를 만들려는 팀에 유용한 레시피다. 핵심은 장문을 먼저 쓰지 않고 질문·근거·정답을 짧은 명세로 고정한 뒤 확장하는 순서, 확장 후 정답이 그대로 남았는지 확인하는 충실성 게이트, 모델이 맞히기도 하고 틀리기도 하는 불안정 구간만 남기는 자기 난이도 필터, 그리고 추론 데이터와 검색 데이터를 2:1로 섞는 구성이다. 다만 저자들이 밝힌 전제와 한계도 분명하다. 정답은 구성상 정확하지만 확장 과정에서 사실이 누락·변형될 위험이 남고, 자기 합성 루프는 더 강한 모델에서 더 잘 작동해 Qwen3-4B-Thinking-2507이 Qwen3-8B보다 큰 개선을 보였다. Qwen3-8B는 LBv2에서 개선이 없었고 AA-LCR은 토큰 예산 문제로 거의 0점이었다. 저자들은 향후 훈련된 모델이 데이터를 다시 생성·재필터링하는 반복, 세계당 문서 수를 늘려 더 긴 컨텍스트 합성, 계산·비교·산술이 필요한 질문 유형 추가, 데이터 정확성을 보장하는 더 나은 방법을 과제로 남긴다.