AI가 인용한 통계 10건 중 4건만 원 연구에 도달한다

Trakkr Research가 ChatGPT, Perplexity, Gemini, Claude, 구글 AI Overviews 다섯 개 어시스턴트에 숫자를 요구하는 일상적 질문 200개를 던지고, 답변이 근거로 단 통계 1,285건의 출처를 최대 다섯 단계까지 거슬러 추적했다. 결과는 원 연구까지 도달한 비율 40%다. 나머지 60%는 연구에 닿지 못했거나, 닿았더라도 숫자나 맥락이 달라진 상태였다.

세부 분포는 이렇다. 원 연구를 찾아냈고 그 연구가 같은 말을 하는 경우가 40%, 연구는 찾았지만 숫자나 조사 대상·시점·지역이 달라진 경우가 8%다. 40%는 출처로 지목된 페이지가 잠겨 있거나 사라졌거나 해당 숫자에 대해 아무 말도 하지 않아 확인 자체가 불가능했고, 11%는 추적 경로 어디에도 연구가 없었다. 나머지 1%는 페이지가 로드되지 않았다. 40% 구간의 95% 신뢰구간은 34%에서 46% 사이다.

어시스턴트별로는 ChatGPT가 가장 나았다. 답변당 인용한 통계 수가 1.3개로 가장 적었고 그중 원 연구에 닿은 비율은 가장 높았다. Claude는 답변당 6.8개를 인용했다. 나머지 네 개는 38~46% 구간에 몰려 있어 순위를 매기기 어렵다.

주목할 대목은 AI가 숫자를 지어낸 게 아니라는 점이다. 인용한 페이지에 해당 숫자가 실제로 적혀 있던 경우가 82%였다. 문제는 어떤 페이지를 인용했느냐다. 숫자 근거로 제시된 페이지 중 원 연구 자체였던 경우는 21%뿐이고, 절반 이상이 기업 블로그였다. 뉴스 기사와 통계 모음 페이지까지 더하면 대부분이 남의 숫자를 모아 놓은 2차 페이지다.

첫 인용 페이지의 성격이 결과를 갈랐다. 연구기관이나 설문조직 페이지에서 출발하면 62%, 정부·공공기관 페이지면 61%가 일치하는 연구에 도달했다. 반면 기업 블로그는 37%, 뉴스·잡지는 37%, 통계 모음 페이지는 35%에 머물렀다. 연구기관조차 38%는 실패했는데, 원 보고서가 신청 양식 뒤에 숨어 있는 경우가 흔한 탓이다.

연구에 도달했다고 숫자가 온전한 것도 아니다. 도달한 통계의 17%는 도중에 값이나 맥락이 바뀌어 있었다. 숫자 자체가 달라진 경우는 네 번 중 한 번꼴이고, 나머지는 무엇을 쟀는지, 어느 연도인지, 누구에게 물었는지가 슬그머니 교체된 경우다. 2004년 건강 웹사이트를 거부한 여성 15명의 발언을 분석한 연구가 "웹사이트 첫인상의 94%는 디자인"이라는 문장으로 유통되는 식이다.

아예 연구가 존재하지 않는 숫자도 있다. "영업사원 44%는 후속 연락 한 번 만에 포기한다"는 통계는 다섯 어시스턴트 모두 같은 값을 제시했고, ChatGPT만 근거가 불분명하다는 표시를 달았다. 추적은 2020년 한 영업 컨설팅 업체의 통계 페이지, 다시 2017년 무렵 프리랜서 작가의 샘플 기사로 이어지다 끊긴다. 조사도 표본도 날짜도 없다.

질문 세트가 편향된 결과도 아니다. 같은 방식으로 구글 AI Overviews가 실제 일상 검색 52,930건에 답한 내용을 보면 4.4%에 통계가 포함됐고, 그중 300건을 추적한 결과 역시 40%로 같았다.

개발자에게 이 결과가 주는 시사점은 분명하다. 인용 URL을 하나 붙이는 것은 "AI가 그 숫자를 어디서 발견했는지"만 알려줄 뿐 "그 숫자가 어디서 왔는지"는 알려주지 않는다. 사내 RAG나 리서치 에이전트를 만든다면 1차 출처까지 체이닝하는 로직, 통계 모음·블로그 페이지를 걸러내는 도메인 가중치, 숫자와 함께 측정 대상·연도·표본을 보존하는 메타데이터가 필요하다. 평가 파이프라인에도 "출처에 숫자가 있는가"가 아니라 "그 출처가 원 연구에 닿는가"를 넣어야 한다.

한계도 있다. 추적 판정은 AI 모델이 맡고 더 강한 모델이 300건을 재판정했으며, 사람이 무작위로 150건을 다시 확인하는 방식으로 보정했다. 모델 단독 판정에서는 23%만 출처가 확인된 것으로 잡혔지만 사람이 모델이 놓친 원본을 찾아냈다. 여기에 더해 40%라는 수치는 신뢰구간이 넓고, 유료 장벽이나 링크 소실로 확인이 불가능했던 페이지가 40% 포함돼 있어 실제 값은 달라질 수 있다.