LLM은 연구 방향은 찾지만 구체적 접근법은 놓친다

무엇인가

AI 과학자, 즉 연구 에이전트는 이제 아이디어 생성에서 선행연구 정리, 실험 수행, 논문 작성까지 연구 루프의 상당 부분을 혼자 돌린다. 하지만 연구를 잘 실행하는 능력은 할 만한 연구를 골랐을 때만 의미가 있고, 그 선택은 무엇을 읽고 어떤 문제를 좇으며 어떤 방법을 시도할지 판단하는 '연구 취향(research taste)'에 달려 있다. 문제는 이 취향이 실행 능력보다 훨씬 덜 이해돼 있다는 점이다. 기존 평가는 아이디어 하나를 전문가가 점수 매기거나, 고정된 목표에 견주거나, 모델 심판에게 판정을 맡기는 방식이었는데 저자들은 이런 판단이 아직 신뢰할 만하지 않다고 지적한다. 집단 수준 연구들은 생성된 아이디어가 모델 안팎에서 얼마나 비슷한지만 쟀을 뿐, 같은 분야에서 활동하는 인간 공동체의 선택과 얼마나 닮았는지는 비교하지 않았다. 이 논문은 '그 공동체가 실제로 다음에 출판한 논문'을 외부 기준으로 삼아 그 빈틈을 메운다.

어떻게 동작하나

데이터는 네 개 분야로 구성된다. 대규모 문헌이 있는 성숙 분야인 머신러닝 시스템과 코드 생성, 아직 작은 신생 분야인 월드 모델과 자동화된 연구다. 분야마다 손으로 고른 20~22편의 랜드마크 논문을 씨앗으로 삼아, 2025년까지 랜드마크를 인용한 논문과 그 논문들 중 둘 이상이 공통으로 인용한 배경 논문을 모아 코퍼스 U를 만든다. 에이전트는 이 U만 검색하고 인용할 수 있다. 인간 기준 H는 2026년 1월부터 8월까지 나온 논문 중 랜드마크를 인용했거나 주제 검색으로 걸린 것을 분야 정의로 스크리닝하고 서베이를 제거해 만든다. 비교는 두 층위에서 이뤄진다. 인용 층위에서는 각 문서의 인용 집합에 자카드 유사도를 적용해, 제안 쪽에서 가장 가까운 인간 논문까지의 평균과 그 반대 방향 평균을 조화평균으로 묶은 Match-Cite를 계산한다. 아이디어 층위에서는 초록에서 기여 유형, 문제, 동기, 제안 접근법, 연구 계획 다섯 슬롯을 뽑아 슬롯별 일치 여부를 판정하되, 흔한 슬롯은 낮게 드문 슬롯은 높게 가중치를 준다. 각 슬롯 가중치는 인간 논문끼리 그 슬롯이 얼마나 자주 겹치는지로 정한 -log2 값이다. 여기에 인용 다양성(충분히 읽는지와 얼마나 퍼져 읽는지의 곱)과 아이디어 다양성(동료 제안과 슬롯을 공유하지 않는 비율)을 더해 네 지표를 만들고, 2026년 논문들을 서로 비교해 얻은 값을 '인간 수준'으로 놓는다.

무엇과 다른가

에이전트는 하나의 구현을 공유하고 분야에 대해 무엇을 아는지만 달라지는 네 가지 방식을 쓴다. 아무 사전 정보 없이 분야 연구자라고만 알려주는 free, 연구 주제 하나를 배정하는 topic, 분야의 과제·방법 태그와 과제-방법 조합 및 그 점유율을 보여주는 landscape, 그리고 이전 라운드 동료들의 제안을 열람하게 하는 frontier다. 에이전트는 20스텝 예산 안에서 계획, 검색, 논문 고정, 초안 수정, 기록 압축, 제출 중 하나를 수행하며 검색한 논문만 인용할 수 있다. 모델은 여섯 개, 집단당 300개 제안(frontier는 150개씩 두 라운드)으로 총 9만 건이 넘는다. 여섯 중 넷은 2026년에 공개돼 학습 데이터가 인간 기준과 겹칠 수 있고, 둘은 2026년 이전 학습이라 누출이 구조적으로 불가능하다. 슬롯 판정은 평가 대상 모델군 밖의 GPT-5.6 Luna가 맡고 인간 주석자로 검증했다.

어떻게 쓰나

핵심 결과는 인용 일치가 인간 수준의 약 26%, 아이디어 일치가 18%라는 것이다. 어떤 모델, 어떤 분야에서도 두 지표 중 하나에서 인간 수준의 절반을 넘은 집단이 없었다. 격차는 가장 새롭고 작은 분야인 자동화된 연구에서 가장 좁고, 분야가 커질수록 벌어져 머신러닝 시스템과 코드 생성에서 정점을 찍는다. 즉 공동체가 선택지가 적을 때는 비교적 잘 따라가지만 선택지가 많을 때 가장 크게 뒤처진다. 여섯 모델 중 다섯은 인용보다 아이디어에서 더 크게 뒤졌고, 다양성 지표가 이 분리를 선명하게 만든다. topic이나 frontier로 방향이 주어지면 여섯 중 넷은 공동체보다 최대 세 배까지 다양하게 인용했지만, 아이디어 다양성에서 인간 수준에 도달한 집단은 없었다. 문헌을 넓게 읽는 것만으로는 공동체가 도달한 아이디어에 이르지 못한다는 뜻이다.

전제와 한계

더 많이 알거나 더 많이 뽑는 것도 해법이 아니었다. 2026년 이전에 학습된 두 모델이 인간 아이디어의 약 26%를 맞춘 반면, 2026년 이후 모델들은 14% 수준이었다. 아이디어 일치는 모델의 최신성이나 성능과 상관하지 않았고, 인간 아이디어를 가장 많이 맞춘 Llama 4 Scout가 블라인드 리뷰에서는 가장 낮은 평가를 받았다. 맥락을 더 주는 것도 효과가 없어, 네 방식 사이에서 일치도는 좁은 구간에 머무는 반면 인용 다양성은 약 세 배까지 벌어졌다. 가장 풍부한 정보를 주는 landscape는 24개 설정 중 19개에서 Match-Cite 최하위였다. 집단을 키우는 실험에서도 Gemini 3.5 Flash-Lite와 DeepSeek-V4-Flash의 free·topic 집단을 300개에서 인간 기준 규모까지 3.8배에서 17배로 늘렸지만, 일치도는 완만하게 오르다 평평해지며 인간 수준에 한참 못 미쳤다.

격차의 위치는 더 구체적으로 드러난다. 11명의 심사 경험자에게 출처를 숨기고 제안과 2026년 논문 192편을 두 번씩 평가하게 했더니, AI 제안은 모든 품질 차원에서 논문에 뒤졌다. 발표·구성에서 4점 뒤진 데 비해 예상 성공 가능성에서는 20점 뒤졌다. 심사자들은 AI 제안의 86%를 AI 생성물로 의심했고 논문은 39%만 그렇게 봤다. 인간 논문과 대응쌍이 없는 제안은 실행 가능성 격차가 8점에서 15점으로, 예상 성공 가능성 격차가 15점에서 26점으로 더 벌어졌다. 방향 수준에서는 사정이 다르다. 과제와 방법을 각각 따로 보면 집단들은 인간 공동체에 근접하고 frontier는 놓치는 비중이 작지만, 과제-방법 쌍으로 묶으면 frontier조차 인간 질량의 절반 정도만 도달한다. 슬롯 분해에서도 두 모델 모두 인간의 문제와 동기에 수십 배 가깝게 붙는 반면 접근법과 연구 계획은 거의 대응을 찾지 못했다. 사례로, 인간 논문과 이를 맞춘 제안은 네트워크 자체를 수정하는데 빗나간 제안은 네트워크를 그대로 두고 주변에 장치를 덧대는 식이었다. 라우터를 전문가 재사용 쪽으로 파인튜닝하는 논문에 대해, 제안은 네트워크를 바꾸지 않고 전문가 수요를 예측해 미리 가져오는 방식을 택한 것이다.

개발자 관점에서 이 벤치마크는 연구 보조 에이전트를 평가할 때 '그럴듯한 제안을 몇 개 뽑았나'가 아니라 '그 분야가 실제로 채택한 접근법과 계획에 얼마나 도달했나'를 봐야 한다는 신호다. 특히 문제와 동기는 잘 맞히고 접근법에서 무너지는 패턴은, 검색·요약 파이프라인을 늘리는 것으로는 해결되지 않는다. 인용은 넓게 퍼지는데 제안은 수렴하는 현상도 실무에서 그대로 관찰될 수 있어, 생성된 아이디어의 다양성을 인용 목록이 아니라 제안 내용 자체로 측정해야 한다. 집단 규모를 키우는 스케일링이 통하지 않았다는 점도 비용 계획에 직접 영향을 준다. 저자들이 공개한 리더보드는 오늘 쓴 제안을 다음 출판 주기와 비교하는 방식으로 계속 갱신된다.

저자들이 밝힌 전제와 한계도 분명하다. 컷오프를 사이에 둔 정보 비대칭, 즉 에이전트는 2025년까지의 코퍼스만 보는데 인간 기준은 그 이후 논문이라는 점을 부록에서 별도로 논의한다. 인용 목록이 완벽한 기준이 아니라는 점, 여섯 모델 중 넷은 학습 데이터가 인간 기준과 겹칠 수 있다는 점(그래서 2026년 이전 학습 모델 둘을 따로 뒀다), 인간 리뷰 자체가 일관되지 않다는 점도 전제로 깔린다. 또한 2026년 어떤 논문과도 겹치지 않는 제안은 공동체가 아직 가지 않은 좋은 방향일 수 있으므로 블라인드 전문가 리뷰로 따로 확인했고, 결론은 '놓친 기회'가 아니라 '더 약한 방향'이었다. 인간 기준은 2026년 1월부터 8월까지만 수집됐고, 컷오프는 새 논문이 나오면 앞으로 이동할 수 있다.