LLM 사실 오류는 첫 토큰에서 시작되는 기억 인출 실패다

무엇인가

이 논문은 폐쇄형 사실 QA에서 LLM이 오답을 내는 이유를 대개 지식 부재로 설명하는 관행에 의문을 제기한다. 모델이 정답을 인코딩하고도 생성하지 못하는 경우가 많다는 기존 연구를 바탕으로, 저자들은 오류가 생성 과정 어디에서 발생하는지를 첫 답변 토큰에 주목해 묻는다. 자기회귀 생성에서 첫 토큰은 이후 답변 전체를 강하게 제약하므로, 모델이 잘못된 첫 토큰에 커밋하면 나머지가 맞더라도 오답이 된다는 것이다. 인간의 설단 현상에서 단어의 첫 소리를 주면 기억이 해소되는 현상을 유비로 삼아, 정답의 첫 토큰을 제공하는 행동적 프로브를 설계한다. 핵심 주장은 많은 폐쇄형 오류가 첫 토큰 인출 실패이며, 올바른 첫 토큰을 주면 모델이 답을 완성하고 종종 정답임을 인식한다는 것이다.

어떻게 동작하나

방법인 First-Token Cueing은 질문 프롬프트 뒤에 정답의 첫 토큰을 모델 토크나이저 기준으로 붙이고, 모델이 나머지를 그리디하게 생성하도록 한다. 평가 대상 답변은 큐로 넣은 첫 토큰과 모델이 이어 생성한 시퀀스를 합친 것이다. k개 토큰 큐는 정답의 첫 k개 토큰을 미리 채우는 방식이며, 베이스라인은 같은 프롬프트와 디코딩을 큐 없이 수행한다. 큐가 정답에서 나오므로 이 방법은 배포 가능한 디코딩 기법이 아니라 오류 복구 가능성을 측정하는 오라클 진단이다. 저자들은 큐로 교정된 오류를 cue-recoverable 오류라 부르고, 이것이 단순히 큐가 담은 정보 때문인지 아니면 모델이 이미 인코딩한 지식의 인출 실패인지를 샘플링 추론과의 중첩, 교차 큐 통제로 검증한다.

무엇과 다른가

첫 토큰에 불확실성이 집중된다는 증거도 제시된다. Llama-3.1 8B의 TriviaQA 폐쇄형 설정에서 다음 토큰 엔트로피는 첫 답변 토큰에서 가장 높고 이후 급격히 낮아졌다. 첫 토큰 엔트로피만으로 정답과 오답을 구분하는 성능은 전체 답변 평균 엔트로피에 거의 맞먹었고, 두 번째·세 번째 토큰은 훨씬 나빴다. 16개 모델 모두에서 첫 토큰 엔트로피가 베이스라인 정답 여부를 예측했으며 영어 벤치마크 AUROC는 약 0.6에서 0.85였다. 첫 단계 분포는 어떤 오류가 큐로 복구되는지도 예측했다. 정답 첫 토큰이 모델의 2~5순위 선택이었던 오류는 약 3분의 2가 교정됐지만, 1000순위 아래였던 오류는 3분의 1 미만이 교정됐다. Llama-3.1 8B에서는 첫 토큰 하나가 더 긴 정답 프리픽스 전체가 복구한 오류보다 많은 오류를 복구했고, 긴 답변에서도 k=1이 가장 큰 그룹이었다. 다만 베이스라인 정확도가 가장 낮은 세 모델은 긴 답변에서 더 긴 프리픽스가 필요했다.

어떻게 쓰나

실험은 Gemma 3, Llama 3.1/3.2, Qwen 2.5 계열의 명령 튜닝 모델 16개를 270M에서 72B까지 사용했고, vLLM으로 그리디 디코딩했다. 영어 벤치마크는 TriviaQA, NQ-Open, WebQuestions, 다국어는 MKQA의 영어·스페인어·러시아어·아랍어·일본어·중국어·한국어 7개 언어다. 정답이 두 토큰 이상인 질문에서 첫 토큰 큐는 모델에 따라 베이스라인 오류의 5분의 1에서 절반가량을 교정했고, 모든 모델이 모든 영어 벤치마크에서 향상됐다. 무작위 토큰으로 바꾸면 모든 모델에서 정확도가 떨어졌고, 그럴듯하지만 틀린 첫 토큰도 정확도를 낮췄으며, 일반적인 답변 프리픽스는 효과가 없었다. 절대 개선폭은 작은 모델에서 컸다. 각 계열의 가장 작은 모델은 약 15~25점, 가장 큰 모델은 10~13점 올랐다. 베이스라인 오류 대비 교정 비율은 70B·72B를 포함해 대부분 모델에서 40~50%였고, 베이스라인 정확도가 가장 낮은 Gemma-3 270M·1B와 Qwen-2.5 0.5B는 예외였다. 다국어에서도 모든 모델·언어가 향상됐고 영어·스페인어가 가장 컸으며 아랍어·러시아어가 가장 작았다. 비라틴 문자권에서는 첫 토큰이 대개 한 글자이고 답변이 더 많은 토큰으로 구성돼 큐가 답변을 덜 특정했다. 러시아어는 베이스라인이 높은데도 개선이 작았는데, 첫 토큰이 단일 키릴 문자인 경우가 많기 때문으로 해석됐다. 답변 길이별로도 모든 모델에서 개선이 유지됐고, 답변이 길수록 효과는 줄었지만 5토큰 이상에서도 양수였다. 판정은 gpt-oss-120b가 정답과 별칭을 기준으로 했고, 샘플링한 MKQA 응답에서 저자 확인 라벨과 93% 일치했으며 주로 올바른 큐 응답을 거부하는 쪽으로 오류를 냈다. 별칭 인식 exact match와 토큰 F1도 모든 모델·언어에서 이득을 재현했다.

전제와 한계

저자들은 큐의 정보 효과를 분리하기 위해 모델 자체 출력에 대한 오라클과 교차 큐 통제를 사용한다. 첫 답변 위치에서 top-p 0.95 질량 안의 모든 첫 토큰을 프리필해 완성하는 오라클에서, Llama-3.1 8B와 70B 베이스라인 오류의 약 5분의 2는 모델이 올바른 시작을 후보로 제안했지만 다른 시작에 커밋한 IN 오류였다. 이 IN 오류에서 큐는 모델 후보 중 선택해 약 절반을 복구했다. NOT-IN 오류에서는 큐가 약 5분의 2를 복구했고 오라클은 약 4분의 1에 그쳤다. 샘플링 추론 pass@16은 큐로 복구 가능한 오류의 77%와 62%를 Llama-3.1 8B·70B에서 각각 복구해 전체 베이스라인 오류의 59%·47%보다 높았다. 큐는 pass@16이 인코딩됐다고 표시한 오류의 약 5분의 3을 복구했으므로, 대부분의 실패 지점이 첫 답변 토큰에 있다는 해석이 가능하다. 교차 큐 통제에서는 같은 데이터셋·같은 답변 유형이면서 첫 토큰 사전확률을 맞춘 NOT-IN 질문을 짝지어, 각 질문에 자기 정답 첫 토큰과 짝의 첫 토큰을 각각 준다. 두 큐 모두 대부분 질문에서 베이스라인 답변을 바꿨고 비율도 비슷했지만, 틀린 큐는 거의 정답을 만들지 못했다. 네 모델 모두 약 60~67% 질문에서 올바른 시작을 더 높은 확신으로 이어 갔고, 이 선호는 정답 시작의 사전확률이 높을수록 커졌으며 틀린 시작이 훨씬 확률 높으면 우연 수준으로 떨어졌다. 이 확신으로 정답과 오답 시작을 고르면 정답 큐 단독 이득의 약 3분의 1에서 3분의 2를 회복했다. 그러나 정답 없이 36개 첫 문자를 모델 점수로 탐색하는 것은 빔 서치 정도의 이득에 그쳤다. 질문의 3분의 2에는 올바른 후보가 있었지만, 올바른 시작은 대부분의 대안보다는 확신이 높아도 모델 자신이 선호하는 시작보다는 낮았다.

개발자 관점에서 이 논문은 사실 QA 오류를 모든 디코딩 단계에 균등하게 다루는 대신 첫 답변 토큰에 추론 시점 계산을 집중할 근거를 제공한다. 첫 토큰 불확실성이 높을 때 탐색·샘플링·검색을 더 쓰는 전략이 의미 있을 수 있다. 다만 모델은 올바른 시작을 인식하면서도 스스로는 그 시작을 잘 찾지 못하므로, 시작 후보 선택에는 검색이나 외부 근거처럼 모델 밖의 증거가 필요하다. 검색은 모델 후보 밖의 시작도 공급할 수 있지만, 그렇게 넣은 첫 토큰의 신뢰도는 외부 소스의 신뢰도를 그대로 물려받는다. 정답 첫 토큰 없이 이런 방법이 First-Token Cueing의 이득을 얼마나 회복할지는 열린 문제로 남아 있다.

저자가 밝힌 한계는 분명하다. 이 연구는 정답과 첫 토큰이 잘 정의되는 짧은 답변의 사실 QA만 다룬다. 장문 생성으로 확장하려면 각 사실 주장의 첫 토큰을 대상으로 삼아야 한다. First-Token Cueing은 정답을 사용해 오류 복구 가능성을 재는 진단 도구이지 실제 디코딩 방법이 아니다. 따라서 인출 실패를 내부 상태가 아니라 큐 복구와 추론 기반 복구의 중첩으로 행동적으로 식별한다. 정답 없이 검색 등으로 첫 토큰을 공급하는 것은 향후 과제이며, 외부에서 공급한 시작이 틀리면 시스템도 그 오류를 그대로 안게 된다.