훈련 데이터의 단일 관측 사실이 LLM 과학 발견 능력을 결정한다

무엇인가

이 논문은 LLM이 새로운 과학적 발견을 내는 능력을 훈련 데이터의 통계, 특히 한 번만 등장한 사실인 모노팩트와 연결해 설명하려 한다. 발견과 환각은 모두 훈련 중 관측되지 않은 문장, 즉 미관측 확률질량에서 나온다. 기존 Kalai와 Vempala의 논의는 모노팩트 비율이 환각률의 하한을 준다고 봤지만, 발견도 같은 미관측 질량에서 나오므로 과학적 발견을 설명하려면 별도의 구조가 필요하다는 것이 문제의식이다.

어떻게 동작하나

저자들은 모노팩트율을 훈련 집합에서 정확히 한 번 관측된 문장 수를 문서 수로 나눈 값으로 정의하고, 이를 Good–Turing 미관측 질량 추정과 연결한다. 이어 문장 공간을 관측 영역 O, 발견 후보 영역 C, 임의 오류 영역 R로 나누는 프런티어 구조를 제안한다. 후보 영역의 참일 사후확률이 α와 β 사이에 있다고 가정하면, 발견 질량과 후보 영역 환각 질량의 비율이 α/(1−α)와 β/(1−β) 사이로 제한된다. 이 구조 아래에서 정리 6은 모노팩트율과 보정 오차로 발견 확률의 상한을, 정리 7은 후보 영역 밖으로 새는 확률질량 비율 ρf를 넣어 하한을 제시한다. ρf는 모델에서 반복 샘플링하고 검증 신호를 확인해 추정할 수 있다고 본다. 즉 모노팩트율은 발견을 보장하는 값이 아니라 발견 예산의 크기를 정하는 값이고, 실제 발견과 환각의 배분은 프런티어 모호성과 모델의 누수 정도가 조절한다.

무엇과 다른가

실험은 재료과학과 규제유전체학 두 과제에서 했다. 재료과학에서는 Materials Project의 2024년 11월 14일 스냅샷으로 학습하고 2025년 9월 25일 스냅샷에 처음 등장한 화학식으로 평가해 시간적 분리를 강제했다. 여기서 모노팩트는 학습 집합에 정확히 한 번 등장한 화학 시스템이다. 규제유전체학에서는 2024년 10월 공개된 Gosai 등의 MPRA 데이터셋을 쓰고, 200염기 DNA 서열의 수정을 생성해 K562, HepG2, SK-N-SH 세포주의 표적 규제 활성 프로필을 맞히는 과제를 다룬다. 학습 집합의 다른 서열과 150개 염기 초과로 겹치지 않는 서열을 모노팩트로 정의했다. 두 과제 모두 모노팩트 비율 r을 0.0부터 1.0까지 0.1 간격으로 조작했고, 1단계에서 재료는 1만 예시 세 벌, 유전체는 2만 예시 세 벌을 학습한 뒤 2단계에서 4천 예시로 Claude Opus 5에서 증류한 추론 흔적과 함께 추가 학습했다. 모델은 gpt-oss-20b와 gemma-3-12b-it이며, 두 모델의 지식 컷오프는 각각 2024년 6월과 8월로 평가 데이터보다 앞선다. 평가는 정답 화학식이나 DNA 서열을 정확히 복원하는지로 했고, pass@1과 16회 생성 중 하나라도 맞히는 pass@16을 온도 1.0, top-p 1.0, top-k 절단 없음, 최대 8192토큰, 중간 추론 예산에서 측정했다.

어떻게 쓰나

본문은 그래프 추세로 보고하며 정확한 발견률 수치표는 제시하지 않는다. 대신 결과는 두 과제, 두 모델 계열, 두 학습 단계, pass@1과 pass@16 모두에서 모노팩트율이 높을수록 발견이 단조 증가한다고 보고한다. 추론 예산을 낮음·중간·높음으로 바꿔도 절대 발견률은 올라가지만 단조 증가 추세는 유지됐다. 학습 데이터의 다양성만으로 설명되는지도 반박했다. 재료 실험에서 학습 예시를 1에폭 대신 3에폭 또는 5에폭 반복하면 화학 시스템 구성과 다양성은 그대로인데 한 번 관측되던 시스템이 여러 번 관측되어 유효 모노팩트율이 0이 된다. 이때 단조 증가 추세가 사라졌고, 높은 모노팩트율에서는 1에폭 학습이 다중 에폭보다 pass@1과 pass@16 모두 우수했다. 또 같은 분포 안에서는 모노팩트율이 높아질수록 발견과 환각이 함께 늘었다. 도메인 전이도 제한적이다. 재료 평가에 유전체 데이터를 섞으면 유전체 모노팩트율이 높을수록 재료 발견이 대체로 좋아지고 1.0 모델은 두 지표에서 도메인 내 기준을 약간 웃돌았지만 비단조적이었고, 도메인 내 데이터 없이 유전체 체크포인트만 재료에 쓰면 발견률이 크게 떨어지고 모노팩트율과의 관계도 사라졌다.

전제와 한계

개발자에게 이 논문은 롱테일 데이터를 무조건 중복 제거하거나 여러 에폭 반복하는 것이 발견 능력에 불리할 수 있음을 시사한다. 특히 한 번만 등장하는 예시가 남아 있는지가 데이터가 기저 분포를 다 소진하지 않았다는 신호로 쓰일 수 있다는 관점이다. 다만 모노팩트율이 높으면 환각도 같이 늘 수 있으므로, 발견을 노리는 파인튜닝에서는 검증기나 정확 복원 기준을 함께 두고 pass@k와 추론 예산을 나눠 평가해야 한다. 도메인 전이는 도메인 내 데이터가 있을 때만 기대할 수 있으므로, 다른 과학 분야 데이터를 섞는 것만으로 범용 발견 능력이 생긴다고 가정하면 안 된다.

저자들이 밝힌 한계는 이론의 핵심 매개변수인 α와 β를 실제로 추정하기 어렵다는 점이다. 정리 6과 7은 보정과 프런티어 분리 같은 가정에 기대므로 수치적 상한·하한을 그대로 실무에 적용하기는 어렵고, 논문의 중심 기여는 모노팩트율과 발견의 관계에 대한 경험적 검증이다. 또한 실험은 두 과학 도메인과 두 오픈웨이트 모델 계열에 한정되며, 발견을 정답의 정확 복원으로 좁게 정의한다. 저자들은 앞으로 사전학습·중간학습·후학습을 거치며 모노팩트율이 어떻게 변하고, 한 단계에서 도입한 모노팩트 효과가 이후 학습에서 유지·증폭·덮어쓰기되는지를 연구해야 한다고 제안한다.