학생 모델의 시도에서 교재를 골라 추론 증류를 개선한다

무엇인가

이 논문은 증거가 함께 주어지는 멀티홉 질의응답에서 추론 흔적 증류가 왜 정답만 학습하는 것보다 항상 낫지 않은지를 다룬다. 추론 흔적은 정답과 함께 제공되어도 특정 학생 모델에게는 효과적인 감독이 되지 못할 수 있다. 중간 단계가 빠지거나 불필요하게 길거나 학생에게 낯선 표현이면, 정답이 맞는 흔적도 학습 목표로 부적합하다. 저자들은 흔적의 과정 내용과 학생 접근성을 구분하고, 동일 예제와 노출, 초기화, 예산을 유지한 정답 전용 학습과의 차이로 증분적 흔적 교수 효용을 정의해 원 분포와 다른 벤치마크에서 각각 평가한다. MuSiQue 감독으로 Qwen3-8B를 학습한 예에서 답만 주는 학습은 원 과제 EM을 34.2%에서 56.2%로 올리면서 2Wiki EM은 51.6%에서 47.9%로 떨어뜨렸고, 원본 학생 흔적 학습은 42.6%와 52.1%를 기록해 두 벤치마크의 순위가 뒤집혔다. 그래서 원 과제 성능과 전이 성능을 함께 봐야 한다고 주장한다.

어떻게 동작하나

제안 방법 ReDiST는 학생이 만든 시도 자체를 출발점으로 삼아 증거 기반 수정과 정답 기반 복구를 거친 뒤, 고정된 학생 독자로 교재를 고른다. 먼저 초기 학생이 각 예제마다 Kd개의 시도를 생성하고, 학생과 맞춘 고정 독자의 검증 정답 점수 q_s0(Y|Q,E,R)를 이용해 후보 초안을 고른다. 정답이 맞은 완전한 초안 중에서는 점수가 가장 높은 것을, 맞은 초안이 없으면 점수가 가장 높은 유효 초안을 쓴다. 선택 초안의 답이 정답과 맞으면 교사 모델이 질문, 증거, 원 시도만 받아 Kr개의 수정 후보를 만들고, 지지되는 추론은 유지하면서 관련 없거나 근거 없는 내용을 제거하고 중간 개체와 관계를 명시하도록 지시받는다. 선택 초안의 답이 틀리면 교사가 검증 정답까지 추가로 받아 증거에 비추어 지지 추론을 고치고 관련 사실을 정답과 연결하는 복구 후보를 만든다. 이 두 갈래가 정답이 맞은 경우의 중간 감독을 개선하고, 처음 실패한 문제도 흔적 감독 대상으로 되살린다. 구성과 선택은 오프라인에서 끝나고 추론에는 증류된 학생만 쓴다.

무엇과 다른가

수정·복구 후에는 고정된 학생 독자가 질문, 증거, 후보 흔적을 읽고 답 예측과 검증 정답 점수를 낸다. 후보 집합 C 중 독자의 답이 정답과 일치하는 C+만 회수 검사를 통과시키고, 그 안에서 q_s0(Y|Q,E,R)가 최대인 흔적을 R*로 선택한다. C+가 비어 있으면 처음부터 정답이 맞았던 초안을 유지하고, 그마저 없으면 빈 흔적을 써서 정답만 학습하는 폴백으로 둔다. 이 선택은 학생의 응답을 반영한 신호지만, 독자가 정답을 회수했다고 해서 단계별 정확성이나 실제 학습 이득이 보장되지는 않는다고 저자들은 명시한다.

어떻게 쓰나

증류 단계에서는 선택된 흔적 뒤에 검증 정답을 붙여 완성문을 만들고, 복구 노출도와 정답 손실 비중을 따로 조절한다. 채택된 복구는 학습 혼합에서 m번 반복되고 나머지 예제는 한 번씩 등장한다. 손실은 L=(1-alpha)L_full+alpha L_ans로, L_full은 전체 감독 완성 위치의 평균 다음 토큰 교차엔트로피이고 L_ans는 정답 내용 위치만의 평균이다. alpha는 정답 토큰에 추가로 얼마나 강조할지를 정하며, alpha=1이면 정답 위치만 직접 토큰 감독을 받지만 앞선 흔적에 조건화되므로 흔적을 제거한 정답 전용 대조군과는 다르다. 주 실험은 alpha=0.15, Kd=Kr=4를 쓴다.

전제와 한계

실험은 MuSiQue를 주 학습·원 과제 벤치마크로 삼고 2Wiki, HotpotQA, QuALITY로 전이를 평가한다. 비교 대상은 원 모델, 정답만 학습, 원본 흔적, STaR식 합리화, NLL 기반 흔적 선택, RSR, LARK, MBT-R이다. Qwen3-8B와 MuSiQue 감독에서 ReDiST는 MuSiQue EM 58.4%, 2Wiki EM 68.6%를 기록했고, 답만 학습의 56.2%와 47.9%, 원본 흔적의 42.6%와 52.1%를 모두 앞섰다. HotpotQA EM은 63.3%, QuALITY는 정확도 64.0%, 하드 부분집합 57.3%로 보고됐다. MBT-R과는 MuSiQue EM이 57.9% 대 58.4%로 비슷했지만 2Wiki가 63.3% 대 68.6%로 5.3점 차이가 났고, HotpotQA는 62.7% 대 63.3%로 차이가 작았다. 2Wiki를 학습 소스로 쓴 별도 비교에서도 ReDiST는 원 과제 EM 72.7%, MuSiQue 전이 EM 53.6%로 MBT-R의 70.7%, 51.2%를 앞섰고 QuALITY 정확도는 66.0% 대 62.3%였다.

구성 요소 비교는 흔적 선택만으로도 이득이 있지만 전체 파이프라인이 더 크게 기여한다는 점을 보여준다. 원본 흔적 학습의 MuSiQue EM 42.6%에 비해 학생 초안 중 선택만 한 경우 55.2%로 12.6점 올랐고, 전체 ReDiST는 58.4%로 선택 대비 3.2점 더 올랐다. 전이에서는 전체 ReDiST가 선택 대비 2Wiki 57.7%에서 68.6%로 10.9점, HotpotQA 55.0%에서 63.3%로 8.3점 올랐다. 학생 초안을 빼고 새로 쓰게 한 Fresh rewrite는 MuSiQue 55.4%, 2Wiki 48.3%, HotpotQA 57.0%로 2Wiki에서 20.3점 떨어졌고, 복구를 끄면 MuSiQue 57.7%, 2Wiki 62.6%, HotpotQA 57.6%가 됐다. 정답 손실을 조절한 실험에서는 alpha=0일 때 MuSiQue 59.2%, 2Wiki 65.2%, HotpotQA 63.0%, alpha=0.15일 때 58.4%, 68.6%, 63.3%였고, alpha=1로 정답 위치만 감독하면 원 과제는 57.3%로 유지되지만 2Wiki 41.7%, HotpotQA 48.0%로 전이가 무너졌다. 정답 위치를 손실에서 마스킹한 Trace-Only Control은 40.4%, 47.8%, 44.3%로 떨어져, 흔적과 정답 양쪽에 손실이 필요하고 정답 비중은 작지만 명시적이어야 한다는 결론을 뒷받침한다.

저자들은 네 학생 모델(Qwen3-8B, Qwen3-4B, Gemma4-E2B, Gemma4-E4B)에서 ReDiST가 답만 학습과 원본 흔적보다 두 벤치마크 모두에서 낫다고 보고한다. MuSiQue EM은 네 비교 모두에서 가장 높았고 2Wiki EM은 세 비교에서 가장 높았다. Gemma4-E4B는 2Wiki 72.3%로 STaR과 NLL의 68.2%를 앞섰고, Gemma4-E2B는 62.2%로 NLL의 61.0%를 앞섰다. 다만 Qwen3-4B에서는 ReDiST가 63.0%로 NLL의 63.5%에 근소하게 뒤져, 경쟁 전략에 대한 우위가 대상 학생에 따라 달라진다. 원 과제와 전이의 순위 차이도 네 학생 모두에서 반복됐다. 예를 들어 Gemma4-E4B에서 답만 학습은 원 과제 EM 57.8%로 원본 흔적 45.6%보다 높지만, 2Wiki 전이 EM은 44.9%로 원본 흔적 64.4%보다 낮다. 교사 선택에서도 복구 성공률이 높다고 전이 성능이 좋은 것은 아니어서, Gemma4-26B-A4B는 복구 성공률 62.15%로 Qwen3-14B의 61.78%보다 높았지만 2Wiki EM은 62.4%로 68.6%보다 낮았다.

논문의 전제는 학습 예제와 학생이 생성한 시도만으로 감독을 구성하며 금본 추론 흔적을 요구하지 않는다는 점이다. 또한 독자의 정답 회수는 학생 조건 선택 신호일 뿐 단계별 정확성이나 학습 이득을 보장하지 않고, 저자들도 이를 명시적 한계로 둔다. 평가는 1,000개 예제 슬라이스의 점추정을 주로 쓰고 95% 부트스트랩 구간을 부록에 제시하며, alpha를 키우면 전이 EM이 낮아지는 등 손실 배분에 민감하다. 원 과제 성능이 전이 성능을 보장하지 않고, ReDiST의 경쟁 우위도 대상 학생과 벤치마크에 따라 달라질 수 있다는 점이 실무 적용 전 확인해야 할 조건이다.