시계열 언어모델에 라인 플롯과 정규화 지연 임베딩을 함께 보여주는 이중 표현 설계

무엇인가

시계열 언어모델(TSLM)은 시계열을 하나의 모달리티로 받아 자연어 질의에 답하고 예측·추론을 수행하려는 연구 흐름이다. 이 논문이 던지는 근본 질문은 표현에 관한 것이다. 시계열을 언어모델에 보여줄 때 무엇을 보존하고 무엇을 없애야 하는가. 기존 TSLM은 대부분 하나의 표현만 노출한다. 숫자를 텍스트로 직렬화하거나, 전용 시계열 임베딩을 학습하거나, 시간 인코더 특징을 언어모델 공간에 투영하는 식이다. 문제는 이런 선택이 서로 다른 귀납적 편향을 강제한다는 점이다. 절대 진폭과 좌표계를 유지하는 표현은 정량적 수치 읽기에 유리하고, 정규화된 표현은 그 정보를 억제하는 대신 상대 구조와 시간적 동역학을 부각한다. 최근 평가에서 시계열을 라인 플롯 이미지로 그려주기만 해도 범용 비전언어모델이 상당한 시간 이해를 보였다는 결과는, 모델 크기나 학습 전략만큼 표현 자체가 시계열 추론 능력을 좌우한다는 신호다.

어떻게 동작하나

제안 방법은 같은 신호를 서로 다른 정보 보존 성질을 가진 두 개의 시각 뷰로 만든다. 첫째는 라인 플롯이다. 원본 관측값을 진폭 정규화 없이 2차원 플롯으로 렌더링해 원래 값 범위와 좌표계상 위치, 세로축에 표시된 수치까지 유지한다. 다변량 입력은 겹쳐 그리지 않고 각 시리즈를 별도 플롯으로 그려, 범위가 다른 시리즈가 각자의 측정 프레임을 갖게 한다. 둘째는 정규화 지연 임베딩이다. 길이 m인 각 변량에서 길이 ℓ짜리 겹치는 윈도우 W개를 균등 간격 시작점 p_c = round(c(m−ℓ)/(W−1))으로 잘라낸다. 윈도우 길이는 ℓ = min(max(⌊ρm⌋, ℓ_min), ℓ_max)로 시리즈 길이의 고정 비율을 따르되 극단 길이를 방어하고, m이 ℓ_min보다 짧으면 ℓ = m으로 둔다. 각 윈도우를 H개 값으로 선형 보간하고 W개 열을 쌓은 뒤 min-max 정규화해 [0,1]^(H×W) 이미지를 만든다. 겹치는 윈도우 덕분에 주기성은 평행 줄무늬, 추세는 완만한 그라디언트, 국소 이벤트는 고립된 줄로 나타나 시간 구조가 시각적 텍스처가 된다. 보간이 선형이고 정규화가 min-max이므로 a>0인 변환 a·x+b는 같은 지연 맵을 낳는다. 즉 라인 플롯은 측정 프레임을 보존하고, 지연 맵은 양의 아핀 진폭 변화와 무관하게 시간 구조를 드러낸다.

무엇과 다른가

아키텍처는 Qwen3-VL-8B 백본 위에 두 개의 시각 인코더를 얹은 이중 타워 구조다. 라인 플롯은 Qwen3-VL의 네이티브 비전 파이프라인(SigLIP-2 초기화)이 그대로 처리하며, 2×2 이웃 패치 병합을 거쳐 시리즈당 230개 플롯 토큰과 DeepStack 융합용 중간 특징 맵 3개를 만든다. 이 인코더는 학습 내내 동결된다. 지연 맵은 별도의 DINOv3 ViT-L/16 인코더가 처리하고, 공간 패치 특징을 2×2로 병합한 뒤 2층 투영 모듈 M(0)로 언어모델 은닉 차원에 사상해 변량당 64개 지연 토큰을 만든다. 여기에 블록 6·12·18 이후의 중간 특징을 각각 M(1), M(2), M(3)로 투영해 64개 토큰에 1대1로 정렬된 다중 레벨 특징을 얻는다. 두 스트림은 각각 vision_start/vision_end 토큰으로 감싼 별도 시각 span으로 텍스트 질의와 함께 하나의 자기회귀 언어모델에 들어가고, DeepStack을 통해 각 스트림의 다중 레벨 특징이 언어모델 첫 3개 층의 은닉 상태에 서로 겹치지 않는 토큰 위치로 주입된다. 학습은 2단계다. 1단계 모달리티 정렬에서는 비전 인코더와 언어모델을 동결하고 DINOv3에 LoRA, 그리고 M(0)와 M(i) 투영을 캡션 데이터 55,696개로 학습한다. 2단계 지시 튜닝에서는 DINOv3 어댑터를 병합하고 시각 경로 전체를 동결한 뒤 언어모델에 LoRA를 적용해 시계열 질의응답 182,815개로 두 뷰를 함께 쓰는 추론을 학습한다. 두 단계 모두 답변 토큰에 대해서만 다음 토큰 예측 손실을 계산한다.

어떻게 쓰나

실험은 TSRBench(15개 과제 4,125개 객관식), TSExam(746문항), ChatTS로 구성된다. 핵심 결과는 TSRBench 전체 정확도가 플롯 전용 변형 45.2%에서 이중 뷰 53.2%로 오른 것이다. 초록은 라인 플롯만 쓸 때를 44.5%로 적는데, 본문 5.2절의 동일 조건 플롯 전용 변형은 45.2%다. 이득은 기본 지각을 넘어선 영역에 집중된다. 지각은 87.4%에서 86.4%로 사실상 그대로인 반면, 추론은 35.8%에서 40.1%, 예측은 38.0%에서 61.7%, 의사결정은 36.4%에서 37.6%로 올랐다. 뷰를 복제하는 통제 실험은 이득을 재현하지 못했다. 같은 아키텍처에 두 타워 모두 라인 플롯을 넣은 Plot+Plot은 44.8%, 둘 다 지연 맵을 넣은 Delay+Delay는 42.6%에 그쳤다. 즉 두 번째 시각 스트림 자체가 아니라 서로 다른 성질을 보존하는 표현의 조합이 성능을 만든다. 비교 대상 전용 TSLM 중 최고는 36.7%였고, 크기 매칭은 아니지만 참조점으로 제시된 GPT-5는 시각 입력 52.4%, 텍스트+시각 입력 55.6%였다.

전제와 한계

교차 벤치마크에서도 이득이 유지된다. TSExam 89.9%, ChatTS 단변량 수치 정렬 80.5%, 다변량 수치 정렬 86.8%로, 다변량에서 격차가 가장 크다. 표현이 유도하는 편향을 직접 확인하기 위한 평가 시점 개입 실험도 있다. 절대 좌표값이나 샘플링 레이트에 정답이 의존하는 과제를 제외한 2,020문항에 진폭·오프셋 아핀 변환, 관측 노이즈와 스무딩, 샘플링 지평 변화를 가했다. 지연 전용 표현은 정규화 덕분에 아핀 변환에 거의 불변으로, 깨끗한 조건의 44.7%가 재조정과 오프셋 이동에서도 거의 변하지 않았다. 반면 결합 모델은 라인 플롯 스트림이 측정 프레임을 계속 담고 있어 아핀 변환에 민감하게 남지만, 보고된 모든 개입 조건에서 플롯 전용보다 높은 절대 정확도를 유지했다. 노이즈와 스무딩은 두 모델 모두를 떨어뜨렸고, 샘플링 지평 변화에는 결합 모델이 상대적으로 둔감했다. 부록의 STFT 비교에서는 선호되는 보조 표현이 평가마다 달랐다. TSRBench에서는 지연 임베딩이, ChatTS 수치 정렬과 평균 추론 정확도에서는 STFT가 소폭 우세했다.

실무 관점에서 이 논문이 주는 시사점은 명확하다. 시계열을 이미지로 렌더링해 범용 비전언어모델에 태우는 파이프라인을 만든다면, 정규화된 뷰 하나만 넣는 선택은 절대값을 묻는 질문에서 약해진다. 반대로 원시 스케일 플롯만 넣으면 추세·주기·국소 이벤트 같은 동역학 질문에서 손해를 본다. 두 뷰를 함께 넣을 때는 토큰 예산(시리즈당 플롯 230개, 지연 64개)과 다중 레벨 특징 주입 위치를 함께 설계해야 하며, 새 스트림을 먼저 캡션으로 정렬한 뒤 지시 튜닝하는 2단계 절차가 재현하기 쉬운 출발점이다. 다만 학습 데이터 대부분이 절차적 생성 시뮬레이터와 생성 파라미터에서 직접 얻은 gold-by-construction 라벨이고, 저자들은 TSRBench·TimeSeriesExam 평가 예시가 학습에 포함되지 않았음을 시리즈 중복, 공유 스포츠 경기 인스턴스, 질문-답변 일치 기준으로 검증했다고 밝힌다. 자체 도메인 데이터에 적용할 때는 이 검증을 별도로 수행해야 한다.

저자들이 밝힌 한계와 전제도 분명하다. 두 뷰의 결합은 단일한 불변성 프로파일을 강제하지 않으며 모든 교란에 균일한 강건성을 제공하지 않는다. 결합 모델이 아핀 변환에 민감하게 남는 것은 불변 뷰에 접근할 수 있다는 것과 결합 모델 자체가 불변이라는 것이 다르다는 점을 보여준다. 또한 어떤 보조 표현이 좋은지는 지원해야 할 능력에 따라 달라서, TSRBench에서는 지연 임베딩이, ChatTS 수치 정렬에서는 STFT가 앞섰다. 향후 과제로는 두 개를 넘는 표현과 인코더 조합, 질의에 의존해 뷰를 결합하는 메커니즘을 제안한다. 성능 비교에서 GPT-5는 크기 매칭 상대가 아닌 참조점이며, 제안 모델은 8B 백본이라는 점도 전제로 남는다.