LLM 시간 추론은 산술과 의미의 구분이 아니라 시간 지식 암기로 풀린다

무엇인가

LLM의 시간 추론은 흔히 두 모드로 나뉜다고 가정된다. 날짜·시간 계산을 다루는 시간 산술(temporal arithmetic)과 전후 관계·시간적 인과를 해석하는 시간 의미(temporal semantics)다. 이 구분은 벤치마크 설계, 학습 데이터 구성, 성능 보고 방식의 조직 원리로 자리 잡았지만, 실제로 서로 다른 인지 능력을 반영하는지는 한 번도 직접 검증된 적이 없다. 저자들은 벤치마크가 이름 붙인 능력과 실제 성능을 좌우하는 능력이 어긋날 수 있다는 구성 타당도(construct validity) 문제로 이 질문을 연다.

어떻게 동작하나

검증은 두 갈래로 이뤄진다. 첫째는 파인튜닝 전이 실험이다. Arithmetic/Semantic 하위 집합을 명시적으로 제공하는 Test of Time(ToT)과, Su 등(2024)의 분류로 math-time/pure-time을 재구성한 TRAM을 합쳐 ToT-Arithmetic, ToT-Semantic, TRAM-Arithmetic, TRAM-Semantic 네 조합을 만들고, 각 조합에서 따로 학습한 뒤 네 테스트셋 전부로 평가한다. 모델은 Qwen3-4B·8B, Llama-3.2-3B-Instruct, Llama-3.1-8B-Instruct, gemma-3-4B-it, gemma-3-12B-it 여섯 개다. 학습은 자기 생성 추론 흔적 위에서 직접 최적화하는 GRPO로 하되, 데이터셋 크기 편차를 통제하려고 최적화 스텝을 400, 배치를 16으로 고정했다. 롤아웃은 데이터셋 수준 실험에서 8회, 항목 수준 실험에서 16회다. 보상은 두 가지인데, 정답이면 1을 주는 정확도 설정과, 형식은 맞지만 답이 틀렸을 때 1을 주는 one-minus-accuracy 설정이다. 후자는 특정 모드를 표적으로 '망각'시켰을 때 다른 모드가 얼마나 버티는지 보기 위한 장치다.

무엇과 다른가

둘째는 인지 요구도 분석이다. DeLeAn 루브릭으로 벤치마크 항목마다 18개 인지 차원의 요구 수준을 0에서 5+까지 매긴다. 주석은 GPT-4o가 수행하고, Gemini 3.1 Flash Lite로 다시 라벨링해 신뢰도를 확인했다. 특정 차원이 지배적인 항목만 모아(subject characteristic curve) 로지스틱 곡선을 적합하고, 그 아래 면적(AUC)을 해당 차원의 능력치로 요약한다. 데이터 부족으로 4개 차원은 제외됐다. Spatio-physical Reasoning과 Verbal Expression은 요구 수준이 1~2에만 걸쳐 있고, Conceptualisation·Learning·Abstraction은 9개, Knowledge of Natural Sciences는 25개 항목뿐이었다. 실험 데이터는 8개 벤치마크에서 가져온 9개 데이터셋(TCP는 Long/Short로 나눠 10개 서브셋)이고, 학습 항목은 8,530개다.

어떻게 쓰나

전이 실험 결과는 가설에 우호적이지 않다. 같은 데이터셋 안에서의 상승은 +6.8~+23.1 퍼센트포인트로 뚜렷하지만, 같은 모드의 다른 데이터셋으로 옮겨가면 −3.2~+1.1 퍼센트포인트에 그친다. 유일하게 눈에 띄는 예외인 TRAM 산술→TRAM 의미 +11.1퍼센트포인트는 같은 데이터셋 내 상승폭(23.1퍼센트포인트)에 한참 못 미치고, 두 하위 집합이 프롬프트 템플릿과 보기 문자 공간을 공유하기 때문에 생기는 형식 효과로 분석된다. 내용과 답 형식(구조화 JSON 대 이벤트 식별자 집합)이 다른 ToT에서는 재현되지 않고, 오히려 ToT 산술 학습은 TRAM 성능을 −3.2, −2.9퍼센트포인트 떨어뜨린다. 망각 실험도 같은 그림을 뒤집어 확인한다. ToT 산술에서 −26퍼센트포인트, ToT 의미에서 −22.8퍼센트포인트가 깎이는데, 손실은 이득보다 넓게 번진다. 학습된 것이 공유 능력이 아니라 데이터셋 표면의 규칙성이라는 뜻이다.

전제와 한계

인지 요구도 분석은 구분 자체를 무너뜨린다. Quantitative Reasoning(QLq)과 Logical Reasoning(QLl)의 결합 분포는 대각선 근처에 몰리고 최빈값이 둘 다 1이다. 산술과 의미를 명시적으로 분리한 ToT조차, Semantic 쪽에 QLq≥3인 항목이 679개로 Arithmetic의 41개보다 많다. 18차원 전체에 PCA를 돌려도 주성분(PC1 40.5%, PC2 15.5%)은 모드가 아니라 전체 요구도 수준으로 벤치마크를 묶는다. 항목 수준 실험에서는 QLl=QLq+1 조건이 QLq와 QLl을 동시에 가장 크게 끌어올렸고, QLq 우세 학습은 QLq를 선택적으로 올리지 못했다. 시간 데이터의 QL 요구가 낮아서(평균 1.57) 그런 것인지 확인하려고 비시간 QL-heavy 데이터 428개(평균 QL 4.13)로 따로 학습시켜도, QLq와 QLl은 각각 0.15 AUC 오르는 데 그치고 시간 추론 정확도는 평균 −0.06퍼센트포인트(−1.23~+0.55)로 변화가 없었다. 반대로 모든 학습 조건에서 가장 크게 오른 것은 Knowledge of Social Sciences, Customary Everyday Knowledge, Verbal Comprehension 같은 지식·이해 차원이었고, 망각 실험에서 가장 크게 떨어진 것도 Knowledge of Social Sciences였다. 참고로 8,530개 학습 항목 중 QLq가 지배적인 항목은 15개(동률 포함 1,288개), QLl는 1개(동률 포함 771개)에 불과하다.

개발자 입장에서 이 논문이 던지는 메시지는 두 가지다. 첫째, 시간 추론 벤치마크 점수를 모델의 산술적·논리적 추론 능력 지표로 인용하면 안 된다. 그 점수는 대체로 '시간이 보통 어떻게 흘러가는지'에 대한 기억을 되살리는 능력을 재고 있다. 둘째, 시간 추론 성능을 올리려고 해당 벤치마크로 파인튜닝하는 전략은 데이터셋별 암기로 귀결되기 쉽다. 평가 파이프라인을 만들 때는 답 형식과 프롬프트 템플릿을 모드 간에 통일할지 말지를 의식적으로 결정해야 한다. TRAM에서 관찰된 '전이'가 바로 그 형식 공유에서 나왔기 때문이다. 새 벤치마크를 설계한다면 지식 요구도를 통제하고, 제안한 범주가 실제 인지 요구도로 검증되는지 확인해야 한다.

저자들이 밝힌 한계는 명확하다. 실험 모델이 최대 120억 파라미터에 묶여 있다. 더 큰 모델 하나(Qwen3-32B)로 탐색한 실험에서는 TRAM Arithmetic에서 ToT Arithmetic으로 약 3.7퍼센트포인트의 작은 전이가 나타났지만, 일관된 모드별 패턴으로 이어지지는 않았다. 또한 전이 실험은 산술/의미 분할을 명시적으로 제공하거나 재구성할 수 있는 ToT와 TRAM 두 벤치마크로 제한된다. 더 세분화된 과제 분류를 제공하는 벤치마크로 확장해야 일반화를 주장할 수 있다는 것이 저자들의 단서다.