LUCA가 실험적 추론의 숨은 실패를 측정 가능한 행동으로 바꾼다

무엇인가

실험을 수행하는 에이전트는 틀린 이유로도 성공할 수 있다. 그런데 대부분의 평가는 그 성공을 만들어낸 실험, 증거, 추론이 아니라 결과만 들여다본다. 이 논문은 그 간극을 문제로 삼는다. 저자들은 결과 뒤에 숨은 과정을 측정하지 못하면 에이전트가 실제로 무엇을 이해했는지 알 수 없다고 본다.

어떻게 동작하나

제안은 LUCA라는 구성 가능한 합성 세계다. 이 환경의 핵심 전제는 정답(ground truth)이 완전히 알려져 있다는 점이다. 에이전트는 예산이 정해진 실험을 통해 알려지지 않은 규제 시스템(regulatory systems)을 학습한다. 그다음 보지 못한 개입에 대한 예측, 숨은 결함의 진단, 그리고 시스템을 되살리는 구조(rescue) 시도를 수행한다.

무엇과 다른가

이 구조의 장점은 능력을 분리해서 볼 수 있다는 것이다. 실험 선택, 예측, 진단, 개입이 각각 별도의 평가 대상이 된다. 하나의 성공 점수로 뭉뚱그리면 보이지 않던 것이, 단계별로 쪼개면 행동으로 드러난다.

어떻게 쓰나

실험은 7개 프론티어 LLM과 3개 베이스라인에서 이뤄졌다. 결과는 능력들이 서로 날카롭게 분리된다는 것을 보여준다. 에이전트들은 오작동하는 시스템을 구조하는 데는 자주 성공하면서도 잘못된 결함을 진단하는 경우가 많았다. 모델 간 격차도 능력별로 크게 달랐다. 진단은 모델에 따라 7배 차이를 보인 반면, 예측은 1.4배 차이에 머물렀다.

전제와 한계

흥미로운 관찰은 전략과 성능의 관계다. 모델들은 놀랄 만큼 서로 다른 실험 전략을 채택했고, 탐색을 더 많이 한다고 해서 성능이 안정적으로 좋아지지는 않았다. 또 하나의 실패 모드가 보고된다. 에이전트가 경쟁하는 원인들을 구분하기 위해 필요한 실험을 실제로 수행하고도, 그렇게 얻은 증거를 활용하지 못하는 경우다. 실험은 했지만 추론에 쓰지 못하는 셈이다.

개발자에게 이 논문이 주는 실무적 함의는 평가 설계에 있다. 최종 태스크 성공률만으로 에이전트를 고르면, 구조는 잘하지만 진단은 못 하는 모델과 그 반대인 모델을 구분하지 못할 수 있다. 특히 진단 능력의 편차가 예측 능력보다 훨씬 크다는 점은, 진단이 중요한 워크플로라면 별도 평가가 필요하다는 신호다. 또한 탐색 예산을 늘리는 것이 만능 해법이 아니며, 증거를 얻고도 쓰지 못하는 패턴을 디버깅에서 확인해야 한다.

한계는 이 환경이 합성 세계이고 정답이 완전히 알려져 있다는 전제 위에 서 있다는 점이다. 현실의 문제에서는 정답 자체를 모르는 경우가 많고, 규제 시스템이라는 특정 형태의 과제에 초점이 맞춰져 있다. LUCA는 숨은 실패를 측정 가능한 행동으로 바꾸는 통제된 실험실을 제공하지만, 그 실험실 밖의 재현성은 별도의 검증이 필요한 영역으로 남는다.