TimeRSI가 고정된 시계열 파운데이션 모델의 배포 파이프라인을 스스로 고친다

무엇인가

시계열 파운데이션 모델(TSFM)은 별도 가중치 학습 없이도 새 데이터셋에서 강한 예측을 내놓지만, 실제 응용에 배포하려면 모델 입력과 출력을 태스크에 맞게 설계해야 한다. 휴일 휴무처럼 반복되는 패턴은 수요 예측에, 조석 주기처럼 알려진 주기는 해류 예측에 반영되어야 하는데, 이런 지식을 배포 파이프라인으로 옮기는 작업은 상당한 전문성과 노동을 요구한다. 논문은 여기서 두 가지 문제를 짚는다. 첫째, 그럴듯해 보이는 변경이 실제 정확도 향상으로 이어지지 않을 수 있다. 달력 정보를 모델 입력으로 넣을지 별도 예측기로 붙일지에 따라 결과가 달라지는데, 이를 판단하려면 과거 예측 오류가 필요하다. 둘째, 평균적으로 좋은 파이프라인이 예측 조건이 바뀌면 덜 적합해질 수 있다.

어떻게 동작하나

TimeRSI는 동결된 TSFM 주위에서 두 단계를 결합한다. 하나는 반복적 파이프라인 개선이고, 다른 하나는 적응적 파이프라인 선택이다. 형식적으로 관측 이력과 알려진 공변량을 x_t, 태스크·변수 의미·샘플링 주기를 m이라 할 때, 파이프라인 p는 동결 모델 F_θ를 써서 다음 H 스텝을 ŷ_{t+1:t+H} = p(F_θ, x_t; m)으로 예측한다. 에이전트가 개선하는 것은 p이고 백본 파라미터 θ는 고정된다.

무엇과 다른가

코딩 에이전트는 파이썬 코드를 네 단계에 걸쳐 작성한다. 전처리, 피처 구성, 컨텍스트 선택, 후처리다. 입력 쪽에서는 관측값을 변환하고, 태스크 지식을 추가 변수로 인코딩하고, TSFM이 어떤 이력이나 변수 그룹을 받을지 고른다. 출력 쪽에서는 예측을 조합하고, 보조 예측기를 적합시키고, 체계적 오류를 보정한다. 이 행동 공간이 태스크 정보를 모델 입출력에 대한 실행 가능한 변경으로 번역하게 해준다.

어떻게 쓰나

반복 개선 루프는 직접 추론을 기준 파이프라인으로 삼아 시작한다. 매 반복에서 에이전트는 태스크 설명과 이전 결과를 바탕으로 코드 수정안을 제안·구현하고, 시스템은 이를 적응(adaptation) 윈도우에서 실행해 예측 점수, 윈도우 단위 오류, 실행 로그를 돌려준다. 에이전트는 이 피드백을 보고 접근을 다듬을지, 유용한 변경을 결합할지, 다른 시도를 할지 결정한다. 이전 코드와 평가 기록이 모두 남아 있어 이후 수정이 성공한 아이디어를 이어받고 이전 시도의 오류를 다룰 수 있다. 검색 예산이 소진되면 더 나중의 선택(selection) 윈도우에서 후보들을 평가하고, 상위 파이프라인과 기준 파이프라인을 함께 배포 집합 P로 남긴다.

전제와 한계

적응적 선택 단계에서는 각 새 예측 시점마다, 각 타깃 변수마다 파이프라인을 고른다. 선택기는 최근 이력과 기준 예측의 수치적 특징(수준 변화, 최근 추세, 예측 형태)으로 현재 조건을 기술하고, 유사한 완료 윈도우를 검색해 남겨둔 파이프라인들이 그 윈도우에서 어떻게 수행했는지 비교한다. 타깃에 대해 t 시점까지 결과가 완전히 관측된 윈도우 집합을 N_t라 하고, 각 윈도우 s에 유사도 기반 가중치 w_{t,s}를 주며, 파이프라인 p의 윈도우 s에서의 기준 대비 오류를 ℓ(p,s)라 하면, 선택기는 가중 과거 오류가 가장 낮은 파이프라인 p*_t = argmin_{p∈P} Σ_s w_{t,s}ℓ(p,s) / Σ_s w_{t,s}를 고른다. 선택된 파이프라인이 해당 타깃의 전체 예측 지평과 모든 분위수를 제공한다. 각 시점에서 TimeRSI는 남긴 모든 파이프라인의 예측을 실행·기록하고, 윈도우가 완료되면 각 파이프라인의 오류를 피드백 이력에 추가해 이후 선택에 반영한다. 이 단계에서 파이프라인 코드는 고정되고 선택만 새 결과에 따라 적응한다.

실험은 TIME의 98개 태스크와 FEV-bench의 100개 태스크, 합계 198개 태스크를 대상으로 하며 각각 111,177개와 235,039개의 예측 인스턴스를 포함한다. 기본 구성은 TimesFM 3.0과 Claude Code(Claude Fable 5)의 조합이다. TIME에서는 MASE와 CRPS(낮을수록 좋음)를, FEV-bench에서는 MASE·SQL·WQL·WAPE의 Skill Score(높을수록 좋음)를 보고한다. 비교 대상은 TIME의 32개, FEV-bench의 31개 공개 제출 결과로, TimesFM 3.0, Chronos-2, Toto 2.0, QiYao-M, TiRex-2 등이 포함된다. TimeRSI는 두 벤치마크의 여섯 지표 모두에서 최고 점수를 기록했다. 같은 동결 TimesFM 3.0의 직접 추론과 비교해 TIME에서 MASE를 1.52%, CRPS를 1.61% 줄였고, FEV-bench에서는 MASE Skill을 2.79%포인트, SQL Skill을 2.26%포인트 올렸다. 즉 파운데이션 모델을 갱신하지 않고도 배포 파이프라인 개선만으로 정확도를 높일 수 있음을 보인다.

제거 실험도 있다. 같은 수의 후보 파이프라인을 제안하되 피드백 기반 수정 없이 선택만 하는 Non-Iterative Search와 비교했는데, 이 비반복 검색은 두 벤치마크 모두에서 직접 추론보다 못한 성능을 냈고 TimeRSI는 직접 추론을 개선했다. 후보를 제안·선택하는 것만으로는 부족하고 예측 오류에 근거해 파이프라인을 수정하는 것이 중요하다는 근거다. 일반화 실험에서는 TimesFM 3.0을 고정하고 Antigravity(Gemini 3.8 Flash)를 쓰면 TIME에서 정규화 MASE/CRPS 0.637/0.532로 비교 대상 외부 제출 결과를 앞섰다. Claude Code를 고정한 경우 Chronos-2의 MASE/CRPS가 0.662/0.556에서 0.647/0.545로, LPTM은 0.669/0.572에서 0.641/0.549로 개선됐고 LPTM의 FEV-bench MASE/SQL Skill도 30.70/43.20에서 34.63/46.33으로 올랐다. 사례 연구에서는 주차장의 달력 피처, 해류의 조석 분해, 수요의 이력 기반 휴일 보정, 태양광 카운터의 일일 리셋 형태 보정 등 태스크 지식이 파이프라인 변경으로 번역되었고 태스크 수준 MASE를 2.86~6.70% 줄였다. 주차장 사례에서는 달력-예측기 블렌드가 과거 오류를 키우자 에이전트가 달력 입력 방식으로 전환하고 주말-시간 상호작용을 추가했는데, 피드백이 파라미터 튜닝이 아니라 전략 변경을 이끈다는 것을 보여준다.

실무자 관점에서 이 논문은 이미 배포된 TSFM을 교체하지 않고도 태스크별 전처리·피처·후처리 파이프라인을 에이전트 루프로 자동 탐색·선택하는 패턴을 제시한다. 다만 도입 전에 확인할 점이 있다. 적응 윈도우와 선택 윈도우를 과거 데이터에서 어떻게 나눌지, 검색 예산을 얼마로 둘지, 그리고 선택기가 쓰는 유사도 특징과 가중치·손실 정의가 자신의 도메인 주기성과 맞는지다. 또 파이프라인 후보를 여러 개 유지하면 매 예측 시점마다 모든 후보를 실행해야 하므로 추론 비용이 늘어난다는 점도 고려해야 한다.

저자들이 밝힌 한계는 두 가지다. TimeRSI는 수치적 패턴과 도메인 지식을 연결하기 위해 명확한 태스크 및 변수 설명에 의존한다. 또한 과거 윈도우에서의 성능 향상이 미래 예측에서의 향상을 보장하지 않으며, 이는 시계열 예측의 미해결 문제인 분포 이동(distribution shift)을 부각시킨다.