비디오 언어모델이 반복 동작을 못 세는 까닭은 출력 단계에 있다

무엇인가

반복 횟수 세기는 시간축에 걸쳐 동작 주기를 식별하고 누적해야 하는 과제다. 정지 이미지 세기와 달리 정답이 어느 한 프레임에 들어 있지 않고 시퀀스 전체에 흩어져 있다. 논문은 최신 비디오 언어모델(VLM)이 반복 동작을 유창하게 묘사하면서도 몇 번 반복됐는지는 신뢰성 있게 세지 못한다는 문제를 다룬다. 기존 평가는 최종 답만 측정했고, 반복 횟수와 함께 변하는 클립 길이·시간 커버리지·원본 영상 같은 요인을 분리하지 못했다. 잘못된 답이 곧 정보 부재를 뜻하지는 않는다는 probing 연구들을 감안하면, 실패 원인은 "표현하지 못해서"인지 "표현은 하는데 보고하지 못해서"인지가 열려 있었다. 저자들은 이 둘을 구분하는 것이 처방을 완전히 다르게 만든다고 본다.

어떻게 동작하나

이를 위해 논문은 RepProbe 벤치마크를 만든다. RepProbe-Real은 RepCount의 원본 영상 1,038개에서 정확히 k개의 완전한 반복을 담은 클립 32,233개를 잘라낸다. 각 반복은 휴식 자세를 떠나 다시 돌아오는 구간을 반열림 구간으로 정의하고, 연속한 k개(1~20)를 이어 붙인다. 같은 원본·같은 동작을 유지한 채 클립이 원본의 시작·중간·끝 중 어디에서 왔는지를 바꿔 위치 효과를 통제하고, 분할은 원본 영상 단위로 해서 같은 영상의 클립이 학습과 평가에 걸치지 않게 했다. RepProbe-Synthetic은 10,000개 클립으로 k마다 500개씩 균형을 맞췄고, 모든 클립 길이를 4초로 고정해 길이가 정답 정보를 담지 못하게 했다. 단순 도형 위에서 하나의 속성만 주기적으로 변하며, 그 변화가 무엇인지에 따라 Flash, Scale, Color change, Shape change, Bounce, Pendulum, Orbit, Crossing과 배경 잡음·다중 객체 스트레스 조건까지 열 개 계열로 나뉜다. 평가는 "이 비디오의 반복 횟수를 정수로만 답하라"는 단일 지시문과 모델 독립 파서로 이뤄지고, MAE, 정규화 MAE, 정확 일치, 경계 모호성을 허용하는 off-by-one(OBO) 정확도를 Few(1~6)·Mid(7~13)·Many(14~20) 구간으로 나눠 보고한다.

무엇과 다른가

행동 실험에서 일반 VLM의 성능은 높은 횟수 구간에서 붕괴한다. 전용 카운터 ESCounts는 정규화 MAE 0.19, 정확 일치 41.9%를 기록하고 Many 구간에서도 OBO 65.6%를 유지했다. 반면 평가한 일반 모델 일곱 개는 Many 구간 OBO가 최대 22.2%에 그쳤다. 가장 강한 두 모델인 Cosmos-Reason2-8B와 Qwen3-VL-8B는 Few 구간에서 각각 62.1%, 62.9% OBO를 내다가 Many 구간에서 22.2%, 4.9%로 떨어졌고 나머지 일반 모델은 8% 미만이었다. 프레임 샘플링 때문이 아니라는 것도 확인했다. 반복 주기당 프레임 수를 8로 고정해도 Qwen3-VL의 MAE는 k=5에서 2.93, k=20에서 7.86으로 올랐고 Cosmos-Reason2는 2.47에서 4.57로 올랐다. 커버리지 자체도 영향을 준다. Cosmos-Reason2의 k=20에서 주기당 프레임을 1에서 8로 늘리면 MAE가 14.00에서 4.57로 줄어든다. 즉 커버리지와 횟수는 분리 가능한 효과이며, 횟수 효과는 모든 커버리지 수준에서 남는다. 합성 영상에서는 Few 구간에서조차 일반 모델의 OBO가 29.5~58.3%에 머물렀다.

어떻게 쓰나

핵심 진단은 표현과 출력의 분리다. 저자들은 언어 헤드가 답을 생성할 때 소비하는 마지막 트랜스포머 블록 이후 잔차 스트림의 마지막 프롬프트 토큰 활성값을 뽑아, 1,000개 라벨 클립으로 20개 횟수 클래스를 분류하는 선형 프로브를 학습시켰다. 프로브는 선형이므로 언어 헤드보다 용량이 크지 않고, 따라서 프로브가 복원한 정보는 언어 헤드가 소비하는 형태로 이미 존재한다. 결과는 명확하다. RepProbe-Real에서 MAE가 Cosmos-Reason2는 3.91에서 2.49로, Qwen3-VL은 7.88에서 3.05로 낮아졌다. 라벨을 섞어 학습한 대조 프로브는 MAE 6.57로 무작위 수준이었다. 격차는 높은 k에 집중된다. Many 구간에서 프로브는 Cosmos-Reason2 2.75 대 모델 답 6.35, Qwen3-VL 3.54 대 13.43을 기록했다. 짝지은 클립 기준으로 프로브가 Cosmos-Reason2 답보다 평균 1.42 MAE 개선되며 95% 신뢰구간은 [1.29, 1.54]다. 합성 영상 Few 구간에서도 프로브 OBO는 92.3%, 93.9%인데 모델 답은 53.8%, 58.4%였다. 중간 깊이인 18번 블록에서도 프로브 MAE가 2.97, 2.51로 최종 블록과 비슷해, 정보는 출력 직전까지 살아 있다. 대신 모델의 답은 실제 횟수와 무관하게 소수의 선호 숫자로 쏠린다. 한 토큰 숫자 단어로 공정하게 비교하면 Qwen3-VL은 "fifteen", Cosmos-Reason2는 "eighteen"에 정착하고, 각 숫자가 생성된 빈도는 텍스트에서의 어휘 빈도와 상관 r=0.41을 보인다.

전제와 한계

프로브가 진짜 반복 구조를 읽는지도 통제했다. RepProbe-Real에서 횟수와 길이의 상관은 r=0.62지만 높은 k에서는 r=0.12로 약해지고, 길이만 쓰는 예측기는 정규화 MAE 0.57인데 프로브는 0.30이다. 길이를 편상관으로 제거한 뒤에도 프로브 예측은 정답과 0.71 상관을 유지하는 반면 모델 답은 0.33이었다. 합성 클립은 모두 4초라 길이가 아무 정보도 주지 않는다. 원본 내 위치(시작·중간·끝)를 맞히는 별도 프로브는 38.7%로 우연 수준 33.3%에 가까웠고 k에 따라 평평했다. 배경·장면 단서도 합성 세트에서 배제된다. 따라서 높은 횟수 실패는 지각이나 표현이 아니라 출력 경로의 문제다.

실무적으로 이 결과는 반복 횟수를 정확히 세야 하는 응용, 예컨대 운동 자세 교정이나 재활 모니터링에서 VLM을 단독 카운터로 쓰는 것이 위험하다는 뜻이다. 특히 14회 이상 구간에서는 정확도가 급락하므로 평균 정확도만 보고 채택하면 안 되고 횟수 구간별 OBO와 MAE를 따로 확인해야 한다. 반대로 내부 표현에 정답 정보가 남아 있다는 점은 개선 지점을 시사한다. 시각 인코더를 더 키우기보다 전용 카운팅 헤드, 선형 프로브 기반 readout, 또는 전용 카운터와의 하이브리드 구성이 더 짧은 지름길일 수 있다. 평가를 설계할 때도 클립 길이·프레임 커버리지·원본 영상 구성을 횟수와 분리해 통제하지 않으면 실패 원인을 오진하게 된다.

저자들이 밝힌 한계도 분명하다. 프로빙 분석은 가장 강한 두 일반 모델과 반복 세기 과제에만 한정했고, 다른 모델과 다른 시간적 양으로 확장하는 것은 다음 과제로 남긴다. 합성 세트는 설계상 주기성만 분리하므로 일반성을 더 확인하려면 운동 영상 바깥의 실제 비디오로 확대해야 한다. 또한 출력이 선호 숫자로 쏠리는 현상 자체는 확인했지만 그 선호를 만들어내는 메커니즘을 규명하는 일은 향후 연구로 남아 있다.