AdaPRA는 데이터과학 에이전트의 과정 오류를 적응형 루브릭으로 줄인다

무엇인가

데이터과학 에이전트는 머신러닝 워크플로를 끝까지 자동화하지만, 인간 리더보드와의 격차는 중간 단계의 과정 오류에서 크게 발생한다. 가장 흔한 것은 단순성 편향으로, 첫 번째 유효한 파이프라인에서 멈추고 더 강한 모델·전처리·피처를 탐색하지 않는다. 검증 누수, 학습 목표 불일치, 제출 무결성 문제도 있다. 많은 오류는 제출 파일이 정상적으로 보여도 흔적이 남지 않는다. DSGym 같은 기존 하네스는 시도마다 작업 공간을 초기화해 같은 EDA와 베이스라인을 반복하게 만들므로, 시도 간 진행을 누적하고 과정을 감독하는 장치가 필요하다.

어떻게 동작하나

AdaPRA는 네 요소를 결합한다. 첫째, OpenHands 기반의 영속적 하네스가 과제별 작업 공간을 N번의 시도 동안 유지한다. 모델 컨텍스트만 초기화되고, 이전 시도의 탐색 노트·피처·학습된 모델·검증 결과·제출 파일은 다음 시도에서 그대로 쓸 수 있다. 이후 시도에는 이전 시도 요약과 마지막 리뷰 피드백이 주어진다. 에이전트는 파일을 메모리처럼 활용해 이미 실패한 방향을 반복하지 않고 새 실험에 예산을 쓴다. 이 과정에서 에이전트와 PRA는 Kaggle 점수나 테스트 라벨을 보지 못하고, 에이전트 자신의 검증 점수만 본다.

무엇과 다른가

둘째, 과정 보상 에이전트인 PRA가 감독한다. PRA는 별도 터미널과 작업 공간을 가진 에이전트로, 기본 에이전트의 작업 공간을 읽기 전용으로 조사하고 코드를 실행해 주장과 실제를 대조한다. 일정 턴마다 그리고 종료 시점에 부분 궤적과 현재 작업 공간을 루브릭에 비추어 평가하며, 각 루브릭마다 만족 확률 p, 중요도 i, 근거 e, 다음 행동 제안을 낸다. 기본 에이전트에는 중요도 0.5 이상이면서 만족 확률 0.6 미만인 실패 루브릭만 중요도 순으로 보여준다. 모든 루브릭을 보고하면 대부분 통과 상태라 피드백이 컨텍스트를 flooded하기 때문이다. PRA는 긴 궤적을 모두 컨텍스트에 넣지 않고 턴이 표시된 텍스트 파일로 저장해 필요할 때 검색한다. 종료 리뷰가 실패하면 한 번의 추가 개선 라운드가 허용된다.

어떻게 쓰나

셋째, 루브릭은 과거 하네스 전용 실행에서 오프라인으로 발굴된다. 같은 과제의 상위·하위 사분위 시도를 대조해, 1단계 LLM 심판이 인용 근거와 함께 좋은 행동과 문제를 추출하고, 2단계에서 상호배타적·전체포괄적 루브릭 집합으로 군집화한다. 심판은 궤적, 작업 공간 스냅샷, 종료 요약을 모두 보며, 어떤 루브릭이 궤적 기반인지 산출물 기반인지 태그한다. DSPredict-Easy 38개 과제×5시도에서 906개 행동(564개 문제, 342개 좋은 행동)을 얻었고, 17개 루브릭과 시도 간 루브릭 2개를 합쳐 19개 시드 루브릭을 만들었다. 이들은 검증, 모델 탐색·선택, 전처리, 제출 무결성, 효율성, 반복 실험 후 접근 전환 등을 다루며 DSPredict-Hard에도 그대로 적용됐다.

전제와 한계

넷째, 과제별 적응형 루브릭 저장소가 있다. PRA는 시드 루브릭으로 초기화된 저장소에 루브릭을 추가·수정·폐기할 수 있고, 추가는 같은 리뷰에서 실제 검사를 실행·기록한 뒤에만 가능하다. 네 번의 적응 실행에서 177개 추가, 1개 수정, 0개 폐기가 있었고 추가는 주로 첫 두 시도에 몰렸다. 예를 들어 House Prices에서는 out-of-fold 예측의 분산이 타깃보다 지나치게 작은지 보는 예측 과소분산 루브릭을 추가했고, LANL Earthquake Prediction에서는 음수가 아닌 고장 시간 예측, CHAMPS Scalar Coupling에서는 양자역학적 하위 성분을 피처에서 제외하는 과제 특화 기준을 넣었다.

실험은 DSGym의 DSPredict-Easy 38개 주로 표형 Kaggle 과제와, 표형·비전·텍스트·오디오·분자 데이터를 아우르는 DSPredict-Hard 54개 과제에서 이뤄졌다. 베이스 에이전트는 80B 오픈웨이트 코딩 모델 Qwen3-Coder-Next, PRA는 Claude Sonnet 4.6이며 모든 조건이 과제당 5회 시도한다. 지표는 평균 리더보드 백분위, 유효 제출 비율, 중앙값 초과 비율, 메달 비율이고 무효 제출은 0으로 계산한다. 비교 대상은 작업 공간을 초기화하는 DSGym 하네스, 영속 하네스만 쓴 조건, DataPRM, 적응형 루브릭을 고정한 조건, PRA의 코드 실행을 뺀 조건, 그리고 GPT-5.1 high와 Qwen3-Coder-480B의 단일 시도 결과다.

DSPredict-Easy에서 AdaPRA는 평균 백분위를 DSGym의 44.5에서 69.0으로, 중앙값 초과 비율을 50.0%에서 86.8%로 올렸고 모든 과제가 유효 제출을 냈다. 영속 하네스만 쓴 60.8 대비 8.2포인트, 중앙값 초과는 15.7포인트 높이며 p<0.001이었다. 시도당으로도 61.0 대 51.3으로 감독 효과가 유지됐고, 단일 AdaPRA 시도는 DSGym에서의 GPT-5.1 high 단일 시도 60.4와 비슷했다. DSPredict-Hard에서는 21.3에서 36.1로, 유효 비율은 68.5%에서 90.7%, 중앙값 초과는 11.1%에서 33.3%로 상승했다. 영속 하네스만 쓴 25.5 대비 10.6포인트, 중앙값 초과 14.8포인트이며 p<0.001이었다. 시도당 유효 비율은 86.3 대 85.7, 중앙값 초과는 24.1 대 14.3으로 GPT-5.1을 앞섰지만 메달 비율은 4.1 대 4.8로 뒤졌다. DataPRM 비교에서는 AdaPRA가 더 높은 평균 백분위를 기록했다고 보고되지만, 제시된 본문에는 DataPRM의 개별 수치가 없다.

절제 실험에서 영속 하네스는 Easy의 평균 백분위를 44.5에서 60.8로, Hard는 21.3에서 25.5로 올렸다. 적응형 루브릭을 고정하면 Easy는 1.7포인트, Hard는 4.3포인트 떨어졌고 Hard의 중앙값 초과는 33.3%에서 22.2%로 낮아졌다(p=0.024, 32승 13패). PRA의 코드 실행을 빼면 Easy는 69.0에서 63.0, Hard는 36.1에서 31.8로 하락했고 Easy 메달 비율은 7.9%에서 2.6%로 떨어졌다. 코드 실행 없이도 하네스 단독보다는 나았지만, 실행과 적응은 상보적이었다. PRA 호출 주기는 Easy 단일 시도에서 10턴마다가 56.4로 가장 좋았고 5턴은 52.7, 20턴은 49.9였다. DeepSeek-V3.2를 베이스로 바꿔도 단일 시도에서 36.9에서 44.7로, 중앙값 초과는 23.7%에서 47.4%로 올라 25승 11패(p=0.005)를 기록해 루브릭이 다른 모델로 전이됐다. Easy에서 발굴한 시드 루브릭을 고정해도 Hard에서 하네스 단독 대비 6.3포인트(p=0.007)를 더했고, 19개 루브릭 모두 Hard 시도의 최소 24%에서 실패했다. 중요도 순위의 Spearman 상관은 0.91, 실패율 순위는 0.66(p=0.002)이었다.

개발자 관점에서 AdaPRA의 핵심은 에이전트의 성능을 모델 크기만으로 보지 않고, 작업 공간을 얼마나 누적하고 과정 오류를 얼마나 구체적으로 검사하는지로 본다는 점이다. 파일 시스템을 장기 메모리로 두고, 검증 누수·제출 불일치·단순성 편향처럼 궤적만 읽어서는 놓치는 오류를 코드 실행으로 확인하는 설계는 데이터과학·MLOps 에이전트에 바로 참고할 수 있다. 다만 PRA가 비싼 감독 비용을 차지한다. Hard 실행 비용의 75%가 PRA였고, Hard 시도는 턴 수가 1.6배 많아 호출 주기를 20턴으로 늘려 비용을 제한했다. 실무에서는 루브릭 저장소, 실행 검증, 피드백 주입을 분리하고, 에이전트가 테스트 점수를 보지 않도록 격리해야 한다.

저자들이 밝힌 한계와 후속 과제도 분명하다. PRA는 각 루브릭이 결과에 얼마나 기여했는지 측정하지 않고 적응하며, 실험에서 루브릭을 폐기한 적도 없다. 루브릭별 신용 배분이 적응 품질을 높일 수 있다는 것이다. 또한 PRA로 Claude Sonnet 4.6 같은 폐쇄형 모델을 쓰므로, 더 작은 오픈웨이트 모델로 대체하는 연구가 필요하다. 베이스 에이전트를 PRA의 조밀한 피드백으로 학습시켜 테스트 시 감독 의존도를 낮추는 방향, Meta-Harness 같은 하네스 진화도 후속 과제로 제시된다. 평가가 Kaggle 리더보드 백분위와 메달에 의존하고 메달 지표가 경계선 근처에서 흔들리기 쉬우며, 시드 루브릭이 Easy 과제에서 발굴됐다는 전제도 함께 봐야 한다.