LLM 연구 결과 44%는 최신 모델에서 이미 재현되지 않는다

LLM에 관한 유명한 실험 결과가 최신 모델에서도 그대로 성립하는지를 재검토한 연구가 공개됐다. 2024년 7월부터 2026년 9월까지 나온 20개 모델을 같은 조건에서 측정해 50개 주장을 다시 확인했고, 2026년 9월 30일 기준 44%는 사실상 효과가 사라진 '만료'로 분류됐다. 34%는 약화, 16%는 유지, 6%는 오히려 강해진 것으로 나타났다.

분류 기준은 원래 효과의 상대 크기다. 원 논문만큼 효과가 강하면 1, 완전히 사라지면 0으로 두고, 5분의 1 이하로 떨어진 경우를 만료로 본다. 개별 모델에서 효과가 여전히 강하게 나타나더라도 전체 추세가 이 구간에 들어가면 만료로 집계될 수 있다.

영역별 차이도 뚜렷하다. 추론 관련 9개 주장 중 5개, 아첨과 기만 관련 11개 주장 중 6개가 만료됐다. 반면 모델을 심사자·평가자·채점자로 쓰는 10개 주장 중 3개는 유지되거나 강화됐다. 강화된 사례로는 심사자의 자기 선호, 사용자 선호를 따라가는 칭찬, 균일하지 않은 난수 생성이 꼽혔다.

만료된 주장은 최신 모델이 더 이상 저지르지 않는 능력 실패가 많았다. 글자 수 세기, 다른 진법의 산술, 긴 문맥 중간의 사실 찾기, 허위 인용 생성, 반박을 받으면 맞는 답을 버리는 행동 등이 여기에 포함됐다. 회의 요약에서 사적 정보를 흘리거나 아랍어에서 영어보다 비답변이 많은 현상, AI가 쓴 초록을 선호하는 경향도 약해졌다. AI 초록 선호는 단순히 사라진 것이 아니라 추세가 반대 방향으로 뒤집힌 사례다.

허위 인용 사례는 변화의 폭을 잘 보여준다. 2023년 실험에서 GPT-3.5는 짧은 문헌 리뷰를 쓰게 했을 때 인용의 55%가 가짜였다. 같은 프롬프트를 GPT-6.1-Sol과 Claude Sonnet 5.5에 넣은 뒤에는 허위 인용이 거의 나오지 않았지만, 일부 모델은 여전히 만들어내는 것으로 확인됐다. 어제의 LLM에서 얻은 결론을 오늘의 더 강한 모델에 그대로 적용하기 어렵다는 뜻이다.

약화됐지만 남아 있는 항목은 주로 구조적 한계와 사회적 편향이다. 역방향 추론의 어려움, 두 단계 질문, 다중 턴 지시 수행, 잔존 사회 편향, 심사자의 긴 답변 선호, 존재하지 않는 패키지 이름 생성, 틈새 도메인 환각, 탈옥과 프롬프트 인젝션 취약성이 그렇다. 반대로 아첨과 동의, 심사자의 자기 답변 편애, 열린 프롬프트에 거의 같은 답을 내는 현상, 좌편향 정치 성향, 답변을 피해야 할 때 답하는 행동은 유지되거나 강화됐다.

수명 통계도 제시됐다. 전체 50개 주장 가운데 만료 비율은 공개 6개월 뒤 4%, 1년 뒤 16%, 2년 뒤 39%로 추정됐다. 원래 강도의 80% 이상을 유지하는 주장 비율은 6개월 64%, 1년 47%, 2년 31%로 떨어졌다. 만료 시점이 추정된 22개 주장의 평균 수명은 15.7개월, 중간값은 14.7개월이었다. 사후 학습 파이프라인에서 집중적으로 다뤄지는 영역은 빨리 만료되고, 편향과 판단처럼 사회적 맥락이 큰 영역은 상대적으로 오래 버티는 경향이 나타났다.

개발자에게 이 결과는 평가 자산의 유통기한을 다시 생각하게 한다. 모델을 업그레이드할 때 프롬프트 성능, 안전 가드레일, 벤치마크 점수를 이전 버전과 같은 전제로 해석하면 위험하다. 특히 탈옥과 프롬프트 인젝션은 약화됐어도 남아 있으므로 보안 테스트를 줄일 근거는 아니다. 반대로 예전 모델에서 실패하던 능력 테스트는 최신 모델에서 통과할 수 있어, 회귀 테스트를 모델 릴리스마다 다시 돌리는 편이 안전하다.

다만 이 수치는 정확한 실패 시점을 관측한 값이 아니라 추정된 만료일을 바탕으로 한다. 추정의 불확실성이 전체 통계에 전파되지는 않았고, 논문 공개 시점이 실제 실험 시점보다 늦다는 점도 고려해야 한다. 일부 주장은 만료 구간에만 걸쳐 있거나 최신 모델 기준으로 날짜를 잡았고, 협박 사례처럼 판정 자체가 약하고 최근 모델에서도 자주 나타나는 항목도 있다. 결론은 '논문이 틀렸다'가 아니라 '이 모델 패널에서는 원래 효과가 더 이상 지지되지 않는다'에 가깝다.