언어모델이 시간 단서로 정답을 고르는 두 경로를 규명한다

무엇인가

이 논문이 다루는 문제는 "모델이 무엇을 알고 있나"가 아니라 "같은 주어·관계 쌍에 답이 여러 개일 때 무엇을 고르나"다. 기존 기계론적 해석 연구는 사실을 (주어, 관계, 목적어) 트리플로 보고, 주어-관계 프롬프트가 하나의 목적어로 매핑된다고 가정했다. 하지만 "Cristiano Ronaldo played for __"는 2010년이면 Real Madrid, 2020년이면 Juventus다. 저자들은 조건 표현(앵커)을 함께 받아 유효한 목적어를 선택하는 과제를 "앵커 기반 사실 회상"이라 부르고, (앵커, 주어, 관계, 목적어) 4-튜플로 형식화한다. 그리고 트리플 회상에서는 생기지 않던 세 질문을 던진다. 앵커가 계산의 어디로 들어오는가(Q1), 무엇을 바꾸는가(Q2), 그 변화가 어떻게 경쟁 후보 중 하나를 선호하게 만드는가(Q3).

어떻게 동작하나

실험은 영어 프롬프트 하나로 통제했다. 데이터는 Wikidata 기반 시간 범위 사실 데이터셋 TempLAMA를 쓰고, 앵커는 2010~2020년 사이다. 분석 대상은 같은 주어-관계 그룹 안에서 연도에 따라 정답 목적어가 실제로 바뀌고, 모델이 서로 다른 정답을 갖는 최소 두 연도를 맞힌 그룹으로 제한했다. 정답 판정은 greedy 이어쓰기가 정규화·단어 경계 매칭에서 정규 정답 또는 허용 별칭을 포함하는지로 한다. 프롬프트는 "In [year], [subject] [relation]." 형식에 같은 형식의 5개 in-context 예시를 붙이되, 연도·주어·관계를 모두 공유하지 않는 예시를 무작위로 골라 정답이나 패턴이 새지 않게 했다. 토큰열은 앵커 구간 A, 주어 구간 S, 관계 구간 R, 마지막 위치 L로 나뉜다. 핵심 설계는 연도만 바꾼 참조-대조 쌍이다. 두 프롬프트의 첫 정답 토큰 c와 c̄가 같으면 쌍에서 제외해, 오직 앵커 효과만 분리한다. 모델은 Llama-3.1-8B, Qwen2.5-7B, Ministral-8B, DeepSeek-R1-Distill-Llama-8B 네 개다.

무엇과 다른가

Q1은 attention knockout으로 답한다. 특정 층 창에서 주어·관계·마지막 위치가 앵커 구간을 보는 어텐션을 차단하고 참조 토큰 확률 변화 Δp를 측정했다. 네 모델 모두 S←A 차단이 가장 이른 구간(이른~중간 층)에서 확률을 떨어뜨렸고, L←A 차단은 초반에는 효과가 없다가 네트워크 중간 이후부터 떨어뜨렸다. R←A 차단 효과는 중간 층의 얕은 하락에 그쳤다. 즉 앵커 정보는 주어 표상을 거치는 경로와 마지막 위치가 앵커를 직접 읽는 경로, 두 지점에서 인과적으로 작동한다. 저자들은 관계 구간이 앵커를 거의 읽지 않는 이유로, 주어와 앵커만으로 관계를 주어의 시변 속성으로 좁힐 수 있어 관계 구간이 얻을 게 적다는 해석을 제시한다.

어떻게 쓰나

Q2는 잔차 스트림 활성화 패칭으로 확인한다. 주어 정보가 누적되는 마지막 주어 토큰의 상태를 대조 실행에 참조 실행 값으로 갈아끼우고, 참조 정답 c, 대조 정답 c̄, 그룹의 나머지 정답들의 로짓 변화를 봤다. 네 모델 모두 c의 로짓은 올라가고 c̄는 내려가며 나머지 후보 평균은 거의 변하지 않았다. 효과는 중간 층에서 최대가 된다. 연도에 대한 일반적 성분만 더한 것인지도 검증했는데, 다른 주어들에서 추정한 공유 연도 오프셋은 실제 효과의 약 4분의 1까지만 회복했다. 앵커는 연도 자체의 표상이 아니라 해당 주어에 특정된 상태로 주어 표상을 해상(resolve)한다는 뜻이다.

전제와 한계

Q3의 첫 경로는 관계가 주어 상태의 헤드별 읽기를 재배치하는 방식이다. 같은 층 안에서 마지막 위치가 마지막 주어 토큰을 보는 어텐션 가중치를 헤드에 걸쳐 정규화하고 총변동거리를 쟀더니, 관계를 바꾼 스왑이 연도만 바꾼 스왑보다 모든 층에서 컸다. 설명에 그치지 않도록 5-fold 교차적합 절제도 했다. 발견 폴드에서 관계 민감도 점수가 상위 10%인 층-헤드를 뽑아, 마지막 주어 토큰에서 마지막 위치로 가는 기여분만 제거했다. 기존 정답 top-1이 뒤집힌 비율은 Llama 63%, Qwen 52%, Ministral 52%, DeepSeek 67%였다. 반면 시간 민감 쌍 절제는 2~5%, 기여도 매칭 무작위 쌍은 8~12%에 그쳤다.

두 번째 경로는 마지막 위치가 앵커를 직접 읽은 신호를 상위 층 MLP가 답 선호로 바꾸는 것이다. 참조-대조의 앵커 어텐션 기여분 차이만 대조 실행에 주입하고, 마지막 위치 MLP 출력을 대조 실행 값으로 고정해 회복률을 분해했다. MLP가 자유로울 때의 추가 회복 R_MLP는 0.37~0.49였고, MLP를 고정한 나머지 회복 R_non-MLP는 0.01 이하였다. 즉 마지막 위치가 앵커에서 읽는 것만으로는 답이 정해지지 않고, MLP가 이를 변환해야 연도에 맞는 목적어 쪽으로 기운다. 직접 로짓 귀속(DLA)에서도 이 선호는 하위·중간 층에서는 0 근처다가 상위 층 대역에서 양수로 바뀐다. 다만 전체 회복 R_total은 0.49를 넘지 않아, 이 경로 단독으로 답을 결정하지는 않는다.

두 경로의 결합은 가산적이다. 주어와 마지막 위치 외의 모든 위치가 앵커를 보지 못하게 막은 뒤 네 조건(both, subject only, direct only, none)에서 정답과 경쟁 목적어의 로짓 마진 이득을 계산했다. G_S + G_L은 Llama·Qwen·Ministral에서 G_both와 5% 이내로 일치했고(본페로니 보정 후 유의차 없음), DeepSeek에서는 7% 낮았다. 두 경로 합은 수정하지 않은 모델의 앵커 효과 중 G_both/G_full = 0.69~0.90을 설명한다. 적어도 한 경로가 양의 이득을 보인 인스턴스 중 73~82%는 두 경로 모두 양의 이득을 보였다. 경로 간 균형은 질의에 따라 달라지는데, 두 모델 이상에서 분석된 그룹에 대해 G_S − G_L이 여섯 모델 쌍 모두에서 양의 상관(Spearman ρ = 0.54~0.82)을 보여 모델 특유의 잡음이 아니라 질의 사실의 성질을 반영한다. 실제로 관계가 설명한다. position held(P39)에서는 주어 경로 몫이 64~75%인 반면, member of sports team(P54)에서는 20~46%로 직접 경로 비중이 크다. 주어 상태 패칭도 P39에서 0.59~0.77, P54에서 0.29~0.50이었고, 값 주입 R_MLP는 반대로 P54가 0.43~0.68, P39가 0.16~0.23이었다.

개발자 관점에서 이 결과는 "연도를 프롬프트에 넣으면 왜 답이 바뀌는가"에 대한 층위별 지도를 준다. 시간 조건이 주어 토큰 표상과 상위 층 MLP라는 서로 다른 두 지점에 동시에 작용하고, 두 채널이 대체가 아니라 병렬로 더해진다는 점은 지식 편집이나 스티어링을 한 지점에만 걸면 조건 민감도가 부분적으로만 바뀔 수 있음을 시사한다. 관계 유형에 따라 두 경로의 비중이 달라진다는 것도 평가 설계에 중요하다. P39처럼 주어 경로가 지배적인 관계와 P54처럼 직접 경로가 큰 관계를 같은 기준으로 평가하면 모델 간 비교가 왜곡될 수 있다.

저자들이 명시한 한계는 분명하다. 실험은 영어, TempLAMA 단일 데이터셋, 단일 프롬프트 형식, 연도 앵커라는 한 조건에 한정되며 주장도 그 범위에만 적용된다. 날짜·사건 같은 다른 시간 표현이나 위치 같은 비시간 앵커는 검증하지 않았다. 프롬프트 어순 자체가 결과를 좌우한다. 인과적 어텐션 아래에서 주어는 자기 앞에 있는 것만 읽을 수 있으므로, 주어 매개 경로는 앵커가 주어보다 앞서야 성립한다. 앵커를 주어 뒤로 옮기면 문법 구성이 달라지거나 자연스럽지 않은 문장이 되어 경로 변화와 이상 입력 반응을 분리할 수 없어, 저자들은 영어에 대해서만 주장한다. 모델 규모도 7~8B로 제한된다. 더 작은 모델은 필터를 통과할 만큼 시간 변화 사실을 맞히지 못하고, 더 큰 모델은 개입 실험 비용이 예시당 일반 예측 대비 약 150배라 분석이 어렵다. 다른 규모에서 두 경로와 결합 방식이 유지되는지는 미해결로 남는다.