시계열 파운데이션 모델의 불확실성 보정을 계층적으로 평가한다

무엇인가

확률적 시계열 파운데이션 모델(TSFM)은 여러 도메인에서 제로샷 예측에 쓰이지만, 예측 정확도가 높다는 사실이 불확실성 추정의 신뢰성을 보장하지는 않는다. 90% 예측 구간이 실제 결과를 90% 포함해야 하는데, 다중 지평 예측에서는 지평별 차이와 예측값별 차이가 평균 지표에서 상쇄될 수 있다. 이 논문은 TSFM의 보정(calibration)을 더 세밀하게 진단하는 방법론과 실증 평가를 제시한다.

어떻게 동작하나

먼저 TSFM이 예측 분포를 표현하는 방식을 네 범주로 분류한다. 모수 밀도 모형은 조건부 밀도의 모수를 예측하고 음의 로그우도로 학습하며, 이산 분포 모형은 값 축을 구간화해 토큰·빈 확률을 예측한다. 직접 분위수 모형은 정해진 분위수 값을 핀볼 손실로 직접 출력하고, 암시적 생성 모형은 샘플 경로로만 분포를 표현한다. 이 공통 관점은 서로 다른 출력 형식의 모델을 같은 지평별 예측 CDF로 비교하게 해 준다.

무엇과 다른가

평가 틀은 분위수 격자에서 세 단계를 구분한다. PCE_pool은 모든 지평과 인스턴스를 풀링해 가장 약한 전역 보정 오차를 재고, PCE_avg는 지평별 PCE를 평균해 지평 간 차이를 드러낸다. 더 강한 QCE는 모델이 예측한 분위수 값에 조건을 걸었을 때 실제 포함률이 명목 분위수와 맞는지를 보며, 아이소토닉 회귀로 추정한다. 논문은 PCE_pool ≤ PCE_avg ≤ QCE_avg ≤ QCE_max의 계층을 증명하고, 지평 격차 Δ_H와 조건화 격차 Δ_C로 풀링·평균 지표가 숨긴 구조를 진단한다.

어떻게 쓰나

사후 재보정에 대해서도 이론적 한계를 제시한다. 분위수 재레이블링은 held-out 데이터로 단조 사상 g를 학습해 예측 분위수를 다시 매핑하는 가벼운 방법인데, 전역 재레이블링으로 PCE_pool을 0으로 만들 수는 있어도 지평별 오차가 다르면 PCE_avg는 원래 지평 격차의 절반 아래로 내려갈 수 없다. 또한 풀링 오차를 없애는 사상이 오히려 QCE_avg를 거의 1/2만큼 증가시키는 구성도 있음을 보인다.

전제와 한계

실험은 네 범주에 걸친 14개 제로샷 TSFM과 GIFT-Eval의 55개 데이터셋 구성을 대상으로 한다. 재보정 실험은 데이터셋당 최소 50개 예측 창이 필요해 42개 구성으로 줄고, 모든 보정 지표는 0.1부터 0.9까지 공통 분위수 격자에서 계산된다. 결과적으로 PCE_avg가 PCE_pool보다 98%의 모델-데이터셋 쌍에서 컸고 평균 40% 더 컸다. QCE_avg로 넘어가면 모든 모델군에서 증가폭이 커졌으며, Δ_H는 86%, Δ_C는 69% 쌍에서 유의했다. Chronos-T5와 Sundial은 풀링 오차는 크지만 조건화 격차는 작아 주로 주변부 보정 문제를 보였고, Sundial의 명목 80% 구간은 실제로 40%만 포함했다.

개별 사례는 풀링 지표의 위험을 더 분명히 보여준다. Chronos-2가 LOOP_SEATTLE/D에서 낸 90% 구간은 이후 결과의 77%만 포함했고, 초기 창으로 아이소토닉 재보정을 하자 91%로 올라갔다. 반면 Moirai-Small이 kdd_cup_2018/H에서 오염 피크를 예측할 때는 27%의 결과가 예측된 10% 분위수 아래에 떨어졌고, Chronos-T5-Small이 LOOP_SEATTLE/5T에서 혼잡을 예측할 때는 29%의 속도가 예측된 90% 분위수를 넘었다. 이런 오차는 낮은 예측과 높은 예측에서 부호가 반대라 주변 포함률에서는 상쇄되지만, 조건화 격차 Δ_C=0.039와 0.044로 남는다. 전역 재레이블링 후에도 Δ_C는 0.041→0.038, 0.040→0.038로 거의 유지됐다.

사후 재보정 실험은 IR, Platt scaling, histogram binning, KDE 기반 보정을 비교하고, 각 데이터셋의 초기 20% 예측 창으로 보정기를 맞춘 뒤 이후 창에서 평가한다. 네 방법 모두 비슷한 방향으로 개선했지만 IR 기준 개선폭은 PCE_pool 37%, PCE_avg 19%, QCE_avg 15%에 그쳤고, 지평 격차는 오히려 24% 커졌으며 조건화 격차는 사실상 그대로였다. 주로 주변부 오차가 큰 Chronos-T5·Sundial·TimesFM은 풀링 오차를 51~62% 줄였지만, Moirai·Chronos-Bolt는 9~24% 줄이는 데 그쳤다. 보정 창을 과거가 아니라 무작위로 뽑으면 IR의 PCE_pool 감소가 37%에서 67%로 커졌고, 꼬리 분위수에서는 Platt scaling이 상대적으로 나았다.

개발자에게 이 논문은 예측 API나 운영 대시보드에서 90% 구간을 그대로 신뢰하기 전에 지평별 보정과 예측값 조건부 보정을 함께 확인해야 한다는 실무 지침을 준다. 사후 재보정은 평균적인 보정 오차를 줄이는 데 유용하지만, 지평별·조건부 왜곡을 모두 고치지는 못하므로 보정 후에도 PCE_avg, Δ_H, Δ_C를 재점검해야 한다. 저자들은 한계로 지평별 주변 보정만 다루고 단순한 사후 재보정 방법만 평가했으며, 아이소토닉 기반 QCE 추정이 보수적이고 결과의 점질량이 포함률 오차를 부풀릴 수 있다고 밝힌다. 코드는 공개되어 있다.