실험 설계 벤치마크 TasteVal이 자기개선 AI 예측을 2027년으로 당긴다

the-decoder6일 전

앤트로픽 공동창업자 잭 클라크가 AI가 스스로 더 나은 후속 모델을 만들어내는 시점을 2027년으로 앞당겼다. 근거로 제시된 것은 P-Zero Research가 공개한 새 벤치마크 TasteVal이다. 이 벤치마크는 모델이 실험을 직접 설계하고 그 결과를 해석하는 능력, 연구진이 '연구 감각(research taste)'이라 부르는 것을 측정한다. 측정치가 예상보다 가파른 개선 곡선을 그리면서 기존 전망이 1년가량 앞으로 당겨졌다.

TasteVal은 연구 감각을 세 갈래로 정의한다. 유망한 연구 질문을 골라내는 능력, 그 질문에 답할 실험을 설계하는 능력, 결과를 정확히 읽어내는 능력이다. 실제로 채점하는 항목은 뒤의 두 가지다. 연구 방향 선택은 모델 몫이 아니라 과제에 미리 고정되어 주어진다. 여덟 개 과제는 모두 AI 모델 개발 영역에서 목표와 측정 가능한 점수가 정해져 있으며, 학습 데이터 선택, 사전학습과 파인튜닝, 인간 선호 기반 학습, 적대적 프롬프트 방어 같은 항목을 다룬다.

모델은 다음에 어떤 실험을 돌릴지 스스로 정하고, 그 결과를 다음 단계 판단에 반영한다. 코딩 실력이 점수를 흔들지 않도록 실험 실행은 고정된 코딩 에이전트가 맡고, 연산 환경은 엔비디아 H100 GPU 한 장으로 제한된다. 한 번의 실행은 GPU 40시간 또는 실제 시간 120시간이 지나면 끝난다. 인간 기준선은 최근 OpenAI, 구글 딥마인드, 엔비디아, 마이크로소프트 리서치 등에서 일한 전문가 24명이 세웠다. 과제마다 최소 두 명이 붙었고 그중 가장 좋은 기록이 비교 기준이 됐다.

점수는 연산 효율로 환산된다. AI 연구에서 실험 연산은 늘 모자라니, 같은 예산으로 더 적은 실행 횟수에 전문가 점수까지 도달하면 감각이 좋다는 논리다. 전문가 점수를 절반의 연산으로 맞추면 감각이 두 배라는 식으로 계산하며, 이를 '연산 배수(compute multiplier)'라고 부른다. 최고 기록은 앤트로픽의 Opus 5.5로 2.3을 기록했다. 다만 통계 범위가 1.15에서 4.37까지로 넓어, 낮은 쪽 끝에서는 전문가를 겨우 앞서는 수준이다. 실행 1회 비용은 전문가가 같은 과제를 푸는 데 드는 비용의 30분의 1 정도였다.

모델 세대를 가로질러 보면 연산 배수는 2025년 12월 이후 약 3개월마다 두 배로 뛰었다. 이 배증 시간의 신뢰 구간은 1.7개월에서 5.0개월로 상당히 넓다. 그 전 몇 년간은 증가 속도가 훨씬 완만했고, 곡선이 가팔라진 시점은 2025년 말에서 2026년 초 사이였다.

클라크는 줄곧 창의성을 AI 자기개선 속도를 좌우하는 핵심 변수로 꼽아왔다. 올해 초까지만 해도 모델이 그런 능력을 의미 있는 규모로 보여주지 못했다는 쪽이었다. 5월 에세이에서 그는 2028년 말까지 스스로 더 강한 후속 모델을 학습시키는 시스템이 등장할 확률을 60%, 2027년까지를 30%로 잡았다. 이번 발언은 그중 이른 쪽 시나리오를 사실상 기본값으로 끌어올린 것이다.

회의론자들이 지목한 지점이 바로 이 능력이었다. AI 연구자 허비 브래들리는 클라크의 5월 글에 반박하며, 모델이 주니어 연구자의 일을 대신하는 건 그럴듯해도 연구 감각이나 창의성, 장기 연구 계획 같은 고난도 역량은 아직 멀었다고 봤다. TasteVal은 실험 설계와 평가 국면에서 이런 평가를 밀어내지만, 장기 의제를 고르는 문제에 대해서는 아무것도 말해주지 않는다. 업계의 공식 입장도 엇갈린다. 앤트로픽은 6월 글에서 재귀적 자기개선이 아직 달성되지는 않았으나 대부분의 기관이 준비한 것보다 빨리 올 수 있다고 적었고, 다리오 아모데이는 통제된 방식의 속도 조절을 요구하고 있다. OpenAI는 완전 자율 RSI는 아니며 인간 감독이 보장될 때만 추구해야 한다는 쪽이다.

실무에서 남는 격차는 푸단대 연구진의 사례에서 드러난다. 이들은 자체 모델 개발 과정을 분석해, AI 에이전트가 방법론 제안의 최대 55%를 냈지만 최종 결정의 85% 이상은 여전히 사람이 내렸다고 보고했다. 결과가 나오기 전에 다양한 연구 방향을 생성하고 그 가치를 가늠하는 일은 사람 몫으로 남아 있다는 설명이다. TasteVal은 바로 그 결정을 모델에게서 떼어낸 상태로 측정한다.

개발자에게 이 벤치마크가 바꾸는 것은 '진척'의 기준이다. 수학 문제나 코딩 과제를 얼마나 잘 푸는지가 오랫동안 성능의 척도였다면, 이제는 연구를 앞으로 밀어내는 결정을 모델이 얼마나 내릴 수 있는지가 쟁점으로 올라온다. 실험 자동화 파이프라인을 운영하는 팀이라면 모델이 소수의 실행으로 더 나은 결론에 도달하는지를 자체적으로 재볼 수 있는 지표가 생긴 셈이고, 모델 선택 기준도 정답률에서 실험당 정보량 쪽으로 옮겨갈 여지가 있다.

저자들 스스로 결과가 연구 감각의 개선 속도를 과대평가했을 수 있다고 인정한다. 과제가 빠르고 저렴하게 채점되는 종류라 AI 연구소가 최적화하기 쉬운 편이고, 비교군에 최정상급 연구자는 없었다. 단일 벤치마크 하나로 추세가 이어진다고 단정할 수도 없으며, 측정 범위 자체가 과학 연구의 좁은 한 조각이다. 그럼에도 추세가 다른 시험에서도 유지된다면 함의는 양방향이다. 개발은 빨라지고 값싸지지만, 모델이 자기 실험을 기획하고 평가하는 만큼 사람이 검증하기 어려운 연구의 비중도 함께 커진다.