AI가 400년 동인도회사 기록에서 잊힌 운석을 찾아냈다

소프트웨어 엔지니어 Jesse Waites가 AI 에이전트 파이프라인을 직접 만들어 400년 분량의 역사 기록을 뒤졌고, 그 결과 미기록 운석 낙하 보고와 사라진 코뿔소 3건, 기록에 남지 않은 화산 분화 같은 사례를 찾아냈다. 역사학자가 아니라 AI 에이전트를 다루는 개발자였기 때문에 가능했던 접근으로, 여러 역사적 미스터리를 병렬로 탐색하고 여러 모델을 연결해 결과를 걸러내는 방식이었다.

재료가 된 데이터의 규모부터 만만치 않다. GLOBALISE 프로젝트가 네덜란드 동인도회사(VOC)의 필사 문서를 검색 가능한 텍스트로 바꿔둔 435만 페이지가 1600년대부터 1790년대까지를 덮고, 여기에 네덜란드 국립도서관의 디지털 신문, 미국 신문 200년치, 선박 일지 등이 더해졌다. 저자는 이 VOC 페이지를 사람이 직접 읽는다면 페이지당 2분, 하루 8시간, 주 5일 기준으로 약 70년이 걸린다고 계산했다.

파이프라인은 세 단계로 후보를 좁힌다. 먼저 GPU로 570만 개 구절을 임베딩해 의미 기반 검색이 가능하게 만들었다. 17세기 네덜란드어는 '코뿔소'를 열다섯 가지 철자로 적었기 때문에 단순 키워드 검색으로는 대부분을 놓친다. 다음으로 Jev라는 초소형 판정 모델이 "실제 동물인가, 야생인가, 어디인가" 같은 좁은 질문만 던져 후보를 걸러낸다. 비용은 백만 단어당 몇 센트 수준이라 코끼리 언급 5만 9천 건을 훑는 데 약 3달러가 들었다. 마지막으로 Claude Haiku가 통과한 구절을 번역하고 날짜와 장소를 뽑아내면, Claude Code 에이전트가 해당 원본 필사 페이지 스캔을 열어 전사 결과를 대조했다.

가장 중요한 규칙은 검증이었다. 새로 무언가를 찾기 전에, 이미 존재하는 것을 찾아낼 수 있는지부터 증명해야 했다. 1615년 도도새 목격 기록, 1783년 라키 화산 분화, 1815년 탐보라 같은 알려진 사건들을 통제 항목으로 삼아 파이프라인이 이를 잡아내는지 확인한 뒤에야 실제 탐색을 시작했다.

첫 성과는 예상 밖의 출처에서 나왔다. 1812년 12월 19일, 영국이 자바를 통치하던 시기에 바타비아(오늘날 자카르타)에서 발행된 Java Government Gazette가 같은 해 8월 26일자 Bombay Gazette의 편지를 재수록했다. 인도 판다르푸르 근처에 주둔한 영국군 장교가 보낸 글로, Captain M—이 8월 6일 Cokurrgaum 마을 근처에서 천둥구름에서 떨어진 돌을 손에 넣었고 무게가 4파운드쯤 된다는 내용이 담겼다. 운석 낙하로 보이는 이 기록은 그동안 공식 목록에 오르지 않았던 것으로 보인다.

출발점은 역사학자 Benjamin Breen이 2026년 10월 1일 공개한 글이었다. Breen은 Opus 5.5로 VOC 기록을 검색해 1615년 선박 일지에서 모리셔스 선원들이 거북과 도도새를 잡았다는 구절을 찾아냈다. 400년 동안 아무도 주목하지 않았던 멸종종 목격 기록이었다. Waites는 이 사례를 보고 같은 방식을 여러 질문에 동시에 적용하고, 모델을 여러 개 엮어 수작업 단계를 자동화할 수 있겠다고 판단했다.

개발자 입장에서 이 사례의 가치는 파이프라인 구조에 있다. 임베딩으로 의미 검색을 깔고, 값싼 판정 모델로 1차 필터링을 한 뒤, 상대적으로 비싼 모델과 원본 대조 단계에 소수 후보만 태우는 계층형 설계다. 대량의 비정형 문서를 다루는 사내 문서 검색, 로그 분석, 위키 질의응답 같은 작업에 그대로 옮길 수 있으며, 비용도 단계별로 예측 가능하게 나뉜다.

다만 저자는 이 작업이 완전 자율 조사가 아니라 AI 보조 연구였다고 분명히 밝힌다. 어떤 질문을 던지고 어느 단서를 좇을지, 언제 멈출지는 사람이 결정했다. 또 AI 모델은 확신에 차서 틀릴 수 있으므로 모든 주장은 실제 필사본 스캔이나 인쇄된 신문, 누구나 조회할 수 있는 아카이브 참조로 확인해야 했다.