BTE는 LLM의 층별 예측 변화로 난이도와 생성 출처를 측정한다

무엇인가

LLM은 Transformer 층을 지나며 다음 토큰 예측을 계속 수정하지만, 우리는 보통 최종 확률이나 생성문, 판단만 본다. 이 논문은 그 과정에서 버려지는 층별 예측 수정 궤적 자체를 측정 대상으로 삼는다. 제안하는 Belief-Trajectory Energy(BTE)는 입력이 특정 모델 내부에서 유발한 예측 수정의 크기와 깊이별 구조를 특징량으로 만든다. 저자들은 이를 인간이 미리 정의한 난이도나 스타일 속성과 구별되는, 모델 기반 측정값으로 설명한다.

어떻게 동작하나

방법은 open-weight Transformer를 점수 모델로 두고 프롬프트와 응답을 한 번 순전파한다. 각 응답 토큰 위치 t와 층 ℓ의 잔차 상태 h_t^(ℓ)를 모델 자신의 출력 헤드에 통과시켜 p_t^(ℓ)=softmax(W_U LN(h_t^(ℓ)))라는 다음 토큰 예측 분포를 읽는다. 이때 BTE_t,ℓ은 연속한 두 층의 예측 분포 사이 Jensen-Shannon 발산이다. 국소적으로 JSD는 1/8 δ^T F δ, 즉 현재 예측 분포 아래에서 로짓 변화 δ의 분산으로 근사되며, F는 Fisher-Rao 계량이다. 모든 로짓을 균일하게 이동시키는 변화는 기여하지 않고, 확률 질량이 큰 토큰들 사이의 차등적 변화가 더 크게 반영된다. 응답 수준에서는 토큰별 BTE를 평균해 층별 깊이 프로파일 e(ℓ)=1/T Σ_t BTE_t,ℓ을 만들고, 스칼라로 쓸 때는 32층 Llama 기준 중간 4분의 1인 12~19층 전이를 사용한다. 깊이 프로파일은 초기와 최종 예측의 차이만으로는 복원되지 않는 중간 경로를 보존하며, 삼각부등식에 의해 누적 BTE가 초기-최종 JSD의 하한이 된다는 점도 제시한다.

무엇과 다른가

난이도 실험은 기본적으로 Llama-3.1-8B-Instruct를 점수 모델로 쓰고, 문제와 공식 참조 해답을 함께 점수화한 응답 BTE를 사용한다. MATH-500 난이도 1~5, ProofWriter 증명 깊이 1~5, StepGame 추론 홉 1~5, SpaRTUN 홉 1~3에서 응답 BTE가 난이도와 함께 증가했고, 항목 수준 Spearman 상관은 0.33에서 0.66이었다. 반면 문제문만 점수화한 BTE는 ProofWriter에서 ρ=-0.01, SpaRTUN에서 0.08로 약했고, MATH-500에서는 문제문만 0.36, 참조 해답 포함 0.44였다. 교차 과제로 GSM8K→MATH-500→OlympiadBench, StepGame→SpaRTUN의 기대 순서를 회복했지만, 5개 점수 모델 중 3개는 MATH-500에 GSM8K보다 낮은 BTE를 부여해 교차 과제 순서가 불안정했다. 점수 모델별 평균 상관은 DeepSeek-R1-Distill-Llama 0.43, Mistral 0.27, Llama 0.52로, BTE가 인간 정의 난이도와 별개로 모델 상대적 난이도와 친숙도를 반영한다고 해석한다.

어떻게 쓰나

인간 대 LLM 리뷰 탐지에서는 ICLR·NeurIPS 2021~2024의 8개 학회-연도, 7개 생성기 리뷰를 사용했다. 레거시 생성기에서 새 생성기로 전이하는 설정 A, 생성기 계열을 하나씩 빼는 설정 B, 전체를 학습하는 설정 C에서 BTE 깊이 프로파일을 분류기에 넣었다. 설정 C에서 Qwen-BTE는 macro-AUROC 0.998, Llama-BTE는 0.968을 기록했고, Open-Anchor는 0.901, 가능도 기반 베이스라인은 0.868 미만이었다. 설정 B의 Qwen-BTE는 0.995였고 인간 리뷰를 재작성한 조건에서도 0.994로 거의 유지됐다. 다만 레거시 생성기만 학습한 설정 A에서는 GPT-5.5, GPT-5.6, Opus5에서 성능이 크게 떨어졌고, 2024년 리뷰에서는 구분 자체가 상대적으로 약했다. 저자들은 이전 생성기가 여러 깊이에서 인간보다 낮은 BTE를 보이다가 새 생성기로 갈수록 격차가 줄고 Opus-5에서 역전되는 궤적을 근거로 든다. 인간 선호도는 GPT-5.5·5.6·Opus-5가 0.878, 이전 세 생성기가 0.531이었고, 중간층 BTE 이동과 인간 선호도의 상관은 ρ=0.857(p=0.024)이었다. Qwen이 생성 리뷰의 평균 다음 토큰 NLL을 인간 리뷰보다 10.4% 낮게 보인 반면 Llama는 2.4% 낮게 보인 점도 Qwen 탐지 성능이 더 높은 이유로 제시된다.

전제와 한계

생성기 귀속에서는 깊이 프로파일만으로 8방향 분류 정확도가 Llama 86.4%, Qwen 91.3%였고, 토큰 수준 BTE 변동을 함께 보존하면 93.2%와 95.6%로 올라갔다. 남은 오류는 GPT-5.5와 GPT-5.6을 약 10%에서 서로 혼동하는 쪽에 집중됐고, 나머지 생성기는 대체로 잘 분리됐다. 이는 예측 궤적의 거친 요약과 세밀한 토큰 수준 정보 사이에 효율성과 성능의 트레이드오프가 있음을 보여준다.

학습 분석은 BTE가 모델이 학습한 분포에 따라 형성되고 재편된다는 주장을 뒷받침한다. OLMo-2-7B 사전학습을 추적하면 무작위 초기화 모델은 MATH 다섯 난이도가 거의 같은 프로파일을 보였고, 500개 해답에서 중간층 평균은 0.013, 표준편차는 0.0002 미만이었다. 사전학습이 진행되며 중간층 BTE는 0.013에서 0.093으로 약 7배 증가했고, MATH 난이도와의 상관은 1T 토큰에서 ρ=-0.13이었다가 4T 토큰에서 +0.03이 됐으며, 15T 토큰으로 학습한 Llama-3.1은 +0.36에 도달했다. PRM800K로 Llama-3.1-8B-Instruct를 미세조정하면 중간층 BTE가 MATH-500에서 22%, GSM8K에서 17% 감소했고, MATH 4~5단계만 미세조정했을 때 5단계는 -19.7%, 1단계는 -17.5%로 더 크게 줄었다. 저자들은 특정 분포에 더 노출될수록 그 분포에서 유발되는 예측 수정이 줄어든다고 해석한다.

개발자에게 BTE는 최종 출력만으로는 구분하기 어려운 입력의 난이도, 생성 출처, 모델 친숙도를 특징량으로 만들고 싶을 때 쓸 수 있는 접근이다. 학습 없이 스칼라 난이도 신호로 쓰려면 점수 모델의 중간층 창을 고정하고, 리뷰 탐지나 생성기 귀속에는 깊이 프로파일이나 토큰 수준 BTE를 경량 분류기의 입력으로 쓰는 방식이 현실적이다. 다만 BTE는 점수 모델 자체가 측정의 일부이므로, 서비스에 넣기 전에 대상 모델과 데이터 분포에 대한 학습 노출, 점수 모델 능력, 문제문만 볼지 해답까지 볼지를 반드시 캘리브레이션해야 한다.

저자들이 밝힌 한계도 분명하다. BTE는 인간이 정의한 속성을 그대로 재현하는 측정값이 아니며, 점수 모델과 무엇을 점수화하는지에 따라 결과가 달라진다. 교차 과제 난이도 순서는 점수 모델에 따라 뒤집힐 수 있고, 리뷰 탐지도 2024년 리뷰나 레거시 생성기에서 새 생성기로의 전이에서 약해진다. 생성기 귀속에서는 GPT-5.5와 GPT-5.6처럼 유사한 생성기 사이 혼동이 남는다. 결국 BTE의 구조는 사전학습으로 발달하고 목표 미세조정으로 선택적으로 재편되므로, 점수 모델의 선택과 학습 이력이 측정값 자체에 포함된다는 전제를 안고 사용해야 한다.