SHELDON은 가설 공간과 관찰 공간을 분리해 함께 탐색한다

무엇인가

테스트타임 스케일링으로 LLM이 복잡한 추론·발견·최적화 과제를 풀게 되면서, 에이전트 하네스의 구조가 성능을 가르는 요인이 됐다. 이 논문이 지적하는 기존 접근의 문제는 관찰 수집이 현재 가설에 묶여 있다는 점이다. Codex나 Claude Code 같은 코딩 에이전트는 도구 출력을 순차적으로 문맥에 붙이며 기존 해를 다듬고, 진화적 방법(EvoX 등)은 초기 개체군과 그에서 파생된 후보 주변을 맴돈다. Arbor, GoS, ScientistOne처럼 연구 상태를 명시적으로 구조화한 하네스도 증거 수집이 기존 가설에 의해 안내되므로, 이미 알려졌거나 기존 가설의 개선에 해당하는 관찰만 얻게 된다. 그 결과 현재 가설들이 공유하는 가정 밖의 현상은 검토되지 않는다. 저자들은 Hempel의 가설-연역법과 Klahr & Dunbar의 과학적 발견 이중 공간 모델에서 착안해, 가설 공간과 관찰 공간을 분리해 표현하고 함께 탐색하는 SHELDON을 제안한다.

어떻게 동작하나

표현 방식부터 다르다. 가설 공간 H는 후보 설명·해·기여 아이디어의 공간이고, 관찰 공간 O는 과제 환경과의 상호작용으로 얻는 증거와 증거 기반 통찰의 공간이다. 두 공간 모두 축(axis)과 영역(region)으로 특성화한다. 가설 공간의 축은 방법 계열, 전제 가정, 자유 파라미터 결정 방식 등이고, 관찰 공간의 축은 데이터 소스, 시간 범위, 엔티티나 부분집합, 행동 속성, 스케일, 도구 등이다. 각 시점에서 작업 가설 집합 wH와 작업 관찰 집합 wO를 추적하고, 증거 관계 E: H×O → {Support, Refute, Neutral, Unresolved}로 관찰이 특정 가설을 지지하는지 반박하는지 중립인지 미평가인지 기록한다. 가설에는 retained 또는 setaside 상태를 부여하며, setaside된 가설은 3라운드의 쿨다운이 지나야 다시 검토할 수 있다. 관찰에는 Provisional 속성을 붙여, 한 번만 마주친 관찰은 탐색을 안내하고 후속 가설 검정에 쓰일 수는 있지만 가설을 반박하는 근거로는 쓸 수 없게 했다.

무엇과 다른가

추론 절차는 네 단계의 반복이다. Explore가 케이스 자료와 도구, 현재 탐색 상태를 살펴 findings를 만들고, 가설 생성을 다양화할 축과 아직 탐색되지 않은 영역을 정의한 뒤 작업 가설·관찰 집합을 제안한다. CandidateAnalysis는 각 가설을 개별적으로 깊게 조사해 가정과 구성요소를 따지고 지지·반박 증거를 찾으며 성공·실패 조건을 확인한다(실험에서는 3회 반복). ComparativeAnalysis는 작업 가설 전체를 함께 놓고 가설들을 구별해 줄 관찰을 찾는다. Exploit은 모은 관찰을 바탕으로 가설을 핵심 아이디어를 유지한 채 개선하거나 구현 결함을 수리하고, retained/setaside를 분류한다. 이 과정은 상호작용 예산 B가 소진되거나 최대 라운드(실험에서 8)에 도달하거나, 한 라운드에서 새 가설·관찰·탐색 방향이 나오지 않아 조사가 안정화될 때 끝난다. 종료 시 현재 작업 상태에 대한 최종 증거 평가를 거쳐 누적 증거와 평가가 가장 잘 뒷받침하는 후보를 반환하고, 라운드마다 탐색·활용 풀에서 5개 가설을 다음 분석 대상으로 고른다.

어떻게 쓰나

실험은 점수 함수가 있는 과제와 없는 과제를 합쳐 10개다. 점수 함수가 없는 쪽은 차등 진단 벤치마크 DiagnosisArena, 시스템 수준 근본 원인 분석 벤치마크 ORCA-Bench, 입출력 쌍에서 변환 규칙을 추론해야 하는 ARC-AGI-2이고, 있는 쪽은 분자 최적화(6개 타깃), 양자 신경망 회로 토폴로지 최적화, ADRS 시스템 최적화 5개 과제다. 베이스라인은 Codex, ReAct, EvoX, ScientistOne, GoS, Arbor, CORAL, RLM이며 모두 GPT-5.6-terra를 높은 추론 노력으로 사용했다. SHELDON은 추론 단계에 GPT-5.6-terra, 코드 구현에 GPT-5.6-luna를 쓴다.

전제와 한계

결과 수치는 원문에 구체적으로 제시된다. DiagnosisArena에서 84.00으로 RLM의 78.00을 6점, Codex의 76.00을 8점 앞섰다. ORCA-Bench에서는 66.67로 최고 베이스라인 40.00을 26.67점 상회했다. ARC-AGI-2는 과제당 2.5달러 예산에서 59.17로 EvoX의 47.50을 11.67점 앞섰다. QNN 회로 토폴로지에서는 만점인 1.00을 기록해 최강 에이전트 베이스라인 0.85와 벤치마크의 수작업 참조 토폴로지 0.917을 모두 넘었다. 분자 최적화는 6개 타깃 중 4개에서 최고 점수를 냈고 3개(CDK2, F2, PGR)에서 라이브러리 최고 참조값을 초과했다. PPARG와 PGR에서는 CORAL이 9.69, 10.65로 앞서고 SHELDON은 9.47, 9.99였다. 시스템 최적화 5개 과제에서는 세 번 실행 기준으로 평균과 최고 실행 모두 최고 또는 동률이었다. LLM_SQL에서는 4.3초로 EvoX의 7.1초보다 빠르면서 캐시 재사용과 런타임을 결합한 목적값이 더 좋았고, Cloudcast에서는 Codex가 최고 618.10이지만 평균 677.10인 반면 SHELDON은 최고 618.07, 평균 618.09로 일관됐다. 제거 실험에서 관찰 공간을 없애면 DiagnosisArena에서 14.0점, ORCA-Bench에서 13.34점 떨어지고, 비교 분석을 없애면 6~10점 하락한다.

분석 파트는 왜 이런 차이가 나는지 내부 구조로 설명한다. ORCA-Bench 30개 과제에서 SHELDON이 생성한 가설은 77개 정답 원인 중 59개(76.6%)를 덮었고 GoS는 36개(46.8%)였다. SHELDON은 정답 원인을 맞힌 59개 가설 중 58개(98.3%)를 실제로 조사했지만 GoS는 36개 중 23개(63.9%)만 조사했다. 59개 중 40개는 Explore에서, 19개는 기존 가설을 시험한 뒤 정제하는 과정에서 나왔다. 새로움 누적량은 QNN에서 최강 베이스라인의 최대 4.5배였고, 표본을 맞춘 해 공간 볼록 껍질 점유율은 6개 과제 중 5개에서 최강 베이스라인을 1.4~20.9배 앞섰다(Cloudcast만 EvoX가 더 넓게 덮었다). 점수 함수가 없는 과제에서도 SHELDON은 GoS보다 훨씬 많은 구별되는 아이디어를 조사했는데, 반경 0.35 기준으로 DiagnosisArena 48개 중 47개, ORCA-Bench 27개 중 26개 과제에서 앞섰고 중앙값은 5 대 1.5, 6 대 1이었다. 관찰의 재사용성도 두드러진다. ARC-AGI-2 관찰의 88%, QNN과 ADRS 관찰의 82%가 두 개 이상 가설의 판정에 기여했고, 비교 분석에서 나온 관찰은 전체의 16~17%에 불과하지만 판정의 53%와 43%를 차지했으며 93~98%가 이후 결정에 인용됐다(개별 가설 분석 관찰은 9~19%).

실무 관점에서 이 논문이 유용한 지점은 정량 점수 함수가 없어도 작동한다는 주장이다. EvoX, Arbor, CORAL, AdaEvolve 같은 방법은 초기 해나 아티팩트와 점수 함수를 요구하지만, SHELDON은 관찰 자체를 암묵적 점수 함수로 삼아 의료 진단이나 시스템 근본 원인 분석 같은 과제를 다룬다. 시드 프로그램 의존도도 낮다고 보고한다. 시드가 주는 개선분의 회복률이 PRISM 99.9%, Cloudcast 97.6%, EPLB 96.6%, 트랜잭션 스케줄링 95.5%였고 LLM_SQL 79.3%, QNN 73.7%였다. 다만 도입 전에 확인할 것은 비용-성능 궤적이 단조롭지 않다는 점이다. 원문은 특정 과제에서 약 14달러를 쓰는 동안 성능이 완만히 오르다 0.7048에서 0.7245로 늦게 도약했다고 기록한다. 또한 탐색의 폭 자체는 성공을 예측하지 못했다. 영역 수나 구별되는 아이디어 수는 두 벤치마크의 점수와 상관이 없었고, 보정 후 살아남은 특징은 ORCA-Bench의 반박 관찰 비율(ρ=−0.59)뿐이었다.

저자들이 밝힌 전제와 한계도 분명하다. 쿨다운 3라운드, 최대 8라운드, 후보 분석 3회, 라운드당 5개 가설 선택 같은 하이퍼파라미터가 실험 전반에 고정돼 있다. ScientistOne은 프레임워크가 공개되지 않아 릴리스된 ADRS 프로그램만 평가했다. EPLB, PRISM, Cloudcast는 모든 방법의 최고 성능이 거의 같아 상대적으로 단순한 문제로 처리될 수 있다고 저자들 스스로 적었다. CORAL은 긴 실행에서 토큰 예산을 소진하는 경향이 관찰됐다. 시드 프로그램이 없는 조건에서 LLM_SQL과 QNN의 회복률이 79.3%, 73.7%로 낮아, 일부 과제에서는 유용한 초기화가 여전히 가치 있다는 점도 남는다.