에이전트가 원격탐사 모델을 스스로 만들어 최신 성능을 넘는다

무엇인가

원격탐사(EO) 모델은 여전히 사람 손으로 만들어진다. 새 센서, 새 지역, 새 과제가 생길 때마다 전문가가 백본을 고르고 학습 레시피를 설계하고 벤치마크에 맞춰 튜닝하는 공정이 다시 시작된다. 파운데이션 모델이 이 주기의 출발점을 올려주긴 했지만 PANGAEA에서는 지도학습 UNet을 일관되게 앞서지 못한다. 비용은 EO가 가장 중요한 곳에서 가장 크다. 재난이 발생하거나 새 위성이 올라오거나 산불·홍수·산림 손실을 새 지역에서 매핑해야 할 때는 며칠 안에 쓸 만한 모델이 필요한데, 전문가 엔지니어링은 몇 주에서 몇 달이 걸리고 많은 기관과 국가에는 머신러닝 팀 자체가 없다.

어떻게 동작하나

이 논문이 제안하는 RSI4EO는 EO 과제를 하네스(harness)와 검증기(verifier)의 쌍으로 규정한다. 하네스는 에이전트가 쓸 수 있는 자원, 즉 라벨 데이터, 나머지 학습 영상으로 만든 비라벨 풀, 사전학습 인코더 체크포인트, 소프트웨어 스택, 컴퓨트 예산을 고정한다. 검증기는 무엇이 성공인지를 고정한다. 에이전트가 제출한 파이프라인(코드와 학습된 가중치가 담긴 자족적 디렉터리)을 에이전트가 볼 수 없는 held-out 데이터에서 실행해 s(π)=m(π(X_V), Y_V)라는 점수를 돌려준다. 검증기는 별도 컨테이너에서 봉인되어 돌고 검증 이미지와 라벨을 에이전트에게 노출하지 않으며, 에이전트는 횟수 제한 없이 질의할 수 있다. 예산이 끝나면 최종 파이프라인을 숨겨진 테스트셋에서 한 번만 채점한다. EO는 이런 검증기 재료가 유난히 풍부하다. 라벨 벤치마크, 독립 센서, 현장 측정, 물리 모델과의 정합성, 같은 장소의 반복 관측이 모두 검증 신호가 된다.

무엇과 다른가

핵심 절차는 재귀적 자기개선이다. 에이전트가 학습한 각 모델을 세대(generation)라 부르고, 한 세대가 남긴 비라벨 풀 예측과 클래스 확률, 체크포인트, 학습 데이터의 held-out fold 예측이 다음 세대의 재료가 된다(f_{t+1}=Train(H, O_{≤t})). 바깥 루프에서는 에이전트가 파이프라인을 제안하고 검증기가 채점하며, 안쪽 루프에서는 채택된 모델이 후속 모델의 재료가 되어 계보를 이룬다. 재귀의 설계 자체도 에이전트 몫이다. 실제 실행에서 나타난 방식은 데이터 수준(교사가 비라벨 풀에 하드 의사라벨이나 소프트 확률을 붙이고 학생이 학습), 파라미터 수준(이전 체크포인트에서 시작, 체크포인트 평균, 작은 네트워크에서 성장), 예측 수준(out-of-fold 예측에 맞춘 보정기, 마스크 정제 네트워크) 세 갈래였다. 소량 라벨 학습, 라벨 예산 탐색, 도메인 적응처럼 따로 연구되던 설정들은 이 두 구성요소의 선택으로 환원된다.

어떻게 쓰나

실험은 센서와 출력, 지표가 다른 5개 벤치마크에서 이뤄졌다. OpenEarthMap은 서브미터 RGB에서 8개 토지피복 클래스를 매핑하고, BRIGHT는 사전 광학 영상과 사후 SAR 영상 쌍으로 건물 피해 등급을 매기며, HRSID는 SAR 영상에서 선박 인스턴스를 분할하고, PASTIS는 Sentinel-2 시계열로 18개 작물 유형을 매핑하며, Toulouse는 초분광 픽셀 하나로 32개 표면 재질을 분류한다. 각 벤치마크마다 전체 라벨 과제와 학습 라벨의 0.1~1.4%만 남긴 소량 라벨 과제를 만들었다. 주 에이전트는 Codex와 GPT-6-Astra로 모든 과제를 수행했고, Claude Code와 Claude Opus 5.5가 OpenEarthMap 네 과제를 맡았다. 두 에이전트 모두 최고 추론 강도로 4개 GB200 GPU에서 최대 12시간, 오프라인 Harbor 컨테이너 안에서 작업했고 단일 학습 실행은 4시간을 넘길 수 없었다.

전제와 한계

결과는 전체 라벨 조건에서 발표 결과가 있는 4개 벤치마크 모두 최신 성능을 넘었다. BRIGHT +2.7 mIoU, PASTIS +2.6 mIoU, HRSID +4.8 mask AP, OpenEarthMap +4.1 mIoU다. 하네스에 기본 제공되는 스타터 파이프라인과 비교하면 전체 라벨에서 5.6~16.7점, 소량 라벨에서 14.6~36.1점 높았다. 학습 라벨 0.2~1.4%만으로 전체 라벨 점수의 69~84%를 유지했고, OpenEarthMap은 라벨 타일 6개로 60.0 mIoU를 기록해 전체 3,000개 타일로 학습한 RS3Mamba의 60.5에 근접했다. Toulouse는 클래스당 라벨 픽셀 5개로 전체 라벨 점수의 96%를 유지하며 190,969개 라벨 픽셀 전부로 학습한 스타터를 앞섰다. 라벨 예산을 늘려가며 본 실험에서 OpenEarthMap 학습셋의 11%인 300개 타일만으로 표에 실린 11개 발표 방법(모두 전체 라벨 학습)을 모두 넘었고, 22%인 600개 타일에서는 두 에이전트 모두 넘기며 전체 라벨 점수의 97%에 도달했다. 실행 한 번의 비용은 모델 사용료 약 100~170달러, 최대 48 GPU 시간이다.

분석은 점수가 어디서 오는지 보여준다. 라벨 6개짜리 OpenEarthMap 실행에서 에이전트는 검증기로 인코더를 고른 뒤 비라벨 타일 4,194개를 최고 모델로 라벨링해 학생을 학습시키고, 이후 8세대를 돌렸다. 매 세대의 교사는 검증기가 지금까지 본 최고 파이프라인이었고 점수는 56.7에서 61.9 mIoU로 올라, 6개 타일만으로 학습한 최고 모델보다 9.0점 높았다. 에이전트는 여기서 멈추지 않고 검증기 로그를 읽어 최고 파이프라인을 다음 교사로 승격하고 새 세대를 시작하는 스크립트를 직접 작성해 루프를 자동화했다. 이런 교사-학생 루프는 지시 없이 다른 과제에서도 나타났다(BRIGHT 10세대, HRSID 5세대, Claude Opus의 OpenEarthMap 4세대). 10개 실행의 궤적을 보면 최종 이득의 절반은 중앙값 0.85시간, 90%는 3.5시간에 도달했다. 사전학습 인코더로 교체하는 것이 여러 실행에서 가장 큰 단일 단계였고(6-라벨 OpenEarthMap 11.1점, 소량 라벨 BRIGHT 7.3점, 각각 15분 이내), HRSID 전체 라벨 실행의 최대 단계인 5.2 AP는 마스크 정제의 반 픽셀 오프셋을 바로잡은 데서 나왔다. BRIGHT에서는 건물 여부 신뢰도와 피해 등급 신뢰도를 분리하는 것이 2.2점, 건물 footprint를 별도 광학 검출기에 맡기는 것이 1.1점을 더했다.

검증기 점수는 숨겨진 테스트로 대체로 이어졌다. OpenEarthMap 7개 실행 모두 검증기 점수와 테스트 점수 차이가 약 2점 이내였고 PASTIS는 0.2점 이내였다. HRSID는 오히려 테스트가 약 3.5 AP 높았는데, 공식 테스트 이미지가 학습 이미지와 같은 장면에서 오는 반면 검증기는 별도 장면을 보유하기 때문이다. 남은 격차는 대부분 검증 split과 테스트 split의 차이에서 왔다. OpenEarthMap에서는 bareland와 water 두 클래스에 집중됐고, BRIGHT에서는 3.5~4.0점 차이의 4분의 3이 destroyed 클래스(검증 픽셀의 1.38%, 테스트 픽셀의 0.93%)에서 발생했으며 그 테스트 IoU 61.5는 실행의 첫 제출물이 검증기에서 받은 65.4보다 낮았다. 저자들이 밝힌 전제와 한계도 분명하다. 이 논문은 진행 중인 프로젝트로 더 많은 EO 과제와 에이전트로 실험을 확장할 예정이다. OpenEarthMap은 테스트 라벨이 공개되지 않아 공식 validation split을 테스트로 쓰고 검증기가 학습 split에서 300개 타일을 보유한다. HRSID는 공식 validation split이 없어 학습셋에서 20개 장면을 검증기가 가져가고, 에이전트는 발표 방법이 쓰는 3,642장 중 3,090장으로 학습한다. Toulouse는 픽셀 위치와 사전학습 모델 없이 스펙트럼만 주어지며, 발표 결과가 8개 split 평균이라 스타터와만 비교했다. 각 과제는 에이전트당 한 번만 실행되어 실행 간 분산은 보고되지 않았다.

개발자 관점에서 이 논문이 쓸모 있는 지점은 새 센서나 새 지역, 재난 대응처럼 며칠 안에 모델이 필요하지만 머신러닝 팀이 없는 상황이다. 다만 도입 전에 확인할 것은 검증기가 과제를 충실히 반영하는가다. 이 논문의 격차 분석이 보여주듯 검증 split과 테스트 split의 분포가 다르면 검증 점수가 성능 착시를 만들 수 있고, 어떤 클래스가 그 차이를 만드는지 먼저 봐야 한다. 또 하네스에 사전학습 인코더와 비라벨 풀이 들어 있어야 소량 라벨에서 성능이 나온다는 전제, 그리고 라벨은 학습셋이 아니라 검증기 뒤의 held-out 셋에 우선 투자하라는 관점도 함께 기억할 만하다.