AI 연구 에이전트 논문의 수치 오류는 대부분 날조가 아니라 출처 혼동이다

무엇인가

AI 연구 에이전트는 이제 실험을 돌리고 완성된 형태의 논문까지 쓴다. 문제는 그 논문을 읽는 사람이 코드도, 로그도, 중간 결과 파일도 보지 못한다는 것이다. 최근 공개 벤치마크 Into the Unknown에서는 9개 에이전트가 15개 오픈 연구 과제를 각각 수행해 135개 제출물을 냈는데, 연구 무결성 게이트(G1)를 통과한 것은 21개뿐이었고 세 게이트를 모두 통과한 제출물은 하나도 없었다. 그러나 이 판정은 단일 LLM 심판(GPT-6-Astra)이 네 번 채점해 합의한 집계 결과라서 "실패했다"만 기록할 뿐 "어떻게" 실패했는지는 말해주지 않는다. 저자들이 주목한 것은 서로 대응책이 전혀 다른 두 실패 모드다. 값 자체가 존재하지 않는 날조(fabrication)와, 값은 실제로 만들어졌지만 다른 실험·지표·실행에 붙어서 보고된 오귀속(misattribution)이다.

어떻게 동작하나

방법은 네 갈래로 구성된다. 먼저 공개된 540개 심판 출력을 루브릭 노드 단위로 다시 분석해 합의 수준의 G1 노드 2,376개를 뽑고, 노드 패밀리별 실패율을 계산했다. 다음으로 18개 제출물에서 수치 주장 256개를 사람이 직접 라벨링했는데, 개발 세트와 별도의 확정 세트를 나누고 두 명의 주석자가 서로의 라벨과 검사기 결과를 모른 채 블라인드로 작업했으며, 48개 이중 라벨 주장에서 Cohen's kappa 0.89를 기록했다. 세 번째가 이 논문의 핵심인 결정론적 claim-to-evidence 검사기다. 이 검사기는 논문의 각 수치 주장에 certified, unattributed, untraced 중 하나를 부여하는데, 단순히 값이 결과 파일 어딘가에 등장하는지를 보는 대신 주변 문맥이 올바른 출처를 지목하는 정도를 점수화하고, 근처의 숫자 디코이(decoy)들과 비교해 그 주장을 보정한다. 운영 규칙은 라벨링이 시작되기 전에 고정됐다. 마지막으로 벤치마크 자체의 채점 파이프라인을 그대로 쓰되 다른 벤더의 심판으로 30개 제출물을 다시 채점했다.

무엇과 다른가

재분석 결과 실패는 특정 지점에 몰려 있었다. 코드-논문 정합성, 수치 추적성처럼 '글이 작업과 맞는가'를 보는 기준들이 무너졌고, 하드코딩된 값, 외부 코드, 테스트셋 누출처럼 명백한 부정행위를 잡아내는 기준은 거의 발동하지 않았다. 사람이 라벨링한 표본에서도 뒷받침되지 않는 숫자의 약 5분의 4가 에이전트 자신의 파일 안에 존재하되 다른 실험, 다른 지표, 다른 실행에 속한 값이었다. 출처가 아예 없는 숫자는 소수였다. 여기서 방법론적 결론이 나온다. 보고된 값이 에이전트 출력 어딘가에 있는지만 확인하는 검사는 이런 오류를 원리적으로 잡을 수 없다. 실제로 값 존재 매칭은 오귀속 숫자의 87~95%를 통과시켰고, 구성상 틀릴 수밖에 없는 디코이 값조차 88%를 통과시켰다.

어떻게 쓰나

검사기의 성능은 정밀도 쪽에 무게가 실려 있다. 검사기가 인증한 85개 주장 중 78개가 블라인드 주석자에게도 추적 가능으로 판정됐고(92%, 95% 신뢰구간 84~97%), 개발 작업이 모두 끝난 뒤 뽑은 홀드아웃 제출물에서는 29개 중 27개가 추적 가능이었다. 대신 커버리지는 전체 평가 주장의 약 23%로 의도적으로 보수적이다. 중요한 것은 그 나머지의 성격이다. 인증되지 못한 주장 중 다수가 사람 주석자에게는 추적 가능으로 판정됐다(확정 표본 57%, 개발 표본 72%). 그래서 '검증 실패'를 '거짓'으로 읽으면 실제로는 옳은 주장을 더 많이 떨어뜨리게 된다. 같은 증거를 제공한 LLM 검증기는 추적 가능한 주장을 더 많이 건져내지만 오귀속 주장을 약 3배 더 받아들였고, 저자들은 둘을 함께 쓰는 것이 낫다고 정리한다.

전제와 한계

벤치마크 전체에 적용한 결과도 인상적이다. 검사가 완료된 99개 제출물에는 유효숫자 두 자리 이상의 수치 주장이 14,577개 있었다. OpenAI 계열 두 에이전트는 평균 인증률이 76%(astra-6)와 63%(sol-5.6)였는데 나머지 7개 에이전트는 8~17%에 그쳤다. 인증 비율은 공식 무결성 점수와 양의 상관(Spearman rho=0.22, p=0.028, n=99), 심판의 수치 추적성 노드 실패율과 음의 상관(rho=-0.32, p=0.002, n=92)을 보였는데, 검사기와 심판은 서로 완전히 다른 증거를 쓰고도 어떤 에이전트가 추적 가능한 결과를 보고하는지에 대해 같은 결론에 도달한 셈이다. 예외도 하나 있다. opus-5.5는 심판에게 평균 무결성 점수 93을 받았지만 검사기 인증률은 14%였다. 값의 99%가 결과 파일 어딘가에는 존재했고, 산문과 표의 인증률도 다른 비-OpenAI 에이전트와 비슷했다. 심판이 제출물당 약 2.4개의 수치 추적성 기준만 검사하기 때문에, 헤드라인 숫자 몇 개는 맞지만 나머지 수치 콘텐츠는 약한 에이전트와 다를 바 없는 경우를 높게 평가할 수 있다는 것이다.

심판 선택에 대한 강건성 실험은 두 가지를 보여준다. 다른 벤더 심판은 30개 표본을 모두 채점했고, 심판 간 반복 일치도는 집계 노드의 82.3%(kappa=0.51), G1 노드의 81.2%(kappa=0.38)였으며 30개 중 22개에서 G1 다수결이 일치했다. 불일치는 비대칭이어서 두 번째 심판은 G1에서 12개를 통과시켰고(공식 심판은 6개), 공식 심판이 떨어뜨린 7개를 통과시키고 1개를 새로 떨어뜨렸다. 제출물당 평균 5.4점 더 관대했다(Wilcoxon p=0.014). 그런데도 두 심판의 벤더 그룹 순위는 동일했다. 즉 상대 순위는 심판 선택에 강건하지만 절대 통과율은 심판에 의존한다. 참고로 실행 시간이 무결성 실패를 설명하는지도 회귀식 (1)로 확인했는데, 로그 실행시간 계수는 에이전트·과제 고정효과를 넣으면 사라졌다. 실행 시간은 원인이 아니라 에이전트 정체성의 대리 변수였다.

개발자에게 주는 실무적 메시지는 분명하다. 에이전트가 만든 리포트에 대해 물어야 할 질문은 "이 숫자가 출력에 있는가"가 아니라 "어느 실행이 이 숫자를 만들었는가"다. 보수적 검사기는 이 질문에 대해 의미 있는 비율(홀드아웃 기준 23%)을 90% 넘는 정밀도로 자동 인증할 수 있으므로 인증된 것만 신뢰하고, 인증되지 않은 것은 실패로 처리하지 말고 사람 검토로 라우팅하는 비대칭 운용이 합리적이다. 에이전트 개발자 쪽에서는 결과를 기록하는 방식 자체를 바꾸는 것이 가장 싸다. 서술형 문장 안에서 계산해버린 값은 추적이 불가능하지만, 설명적인 키를 가진 결과 파일에서 값을 삽입해 리포트를 생성하면 관찰된 오귀속의 대부분이 사라진다. 한계도 저자들이 직접 밝힌다. 모든 발견이 하나의 벤치마크, 9개 에이전트, 계산·물리과학 15개 과제에서 나왔으므로 오귀속과 부재의 비율이 다른 영역에서 같으리라 주장하지 않는다. 라벨은 연구팀 내부 주석자 두 명이 만들었고 외부 패널이 아니며, 표본도 256개 주장(홀드아웃의 실제 주장은 60개)으로 신뢰구간이 넓다. 검사기는 출처를 인증할 뿐 실험의 과학적 건전성을 인증하지 않고, 재현율이 약 3분의 1이라 논문의 일부만 자동으로 정리한다. 벤치마크 측정도 135개 중 99개만 covered했는데 제외된 것이 가장 큰 제출물들이라 이들이 결과 보고 방식에서 체계적으로 다르다면 에이전트별 인증 비율이 달라질 수 있다. 두 번째 심판 표본은 30개이고 두 심판이 불일치한 438개 노드는 판정하지 않았으므로, 통과율이 심판에 의존한다는 것까지는 말할 수 있어도 어느 심판이 인간 전문가에 더 가까운지는 말할 수 없다. 에이전트별 하네스 차이도 결과에 일부 섞여 있다.