언어모델의 공유 어텐션 헤드는 과제 맥락에 따라 다른 역할을 맡는다
Task Context Shapes Component Roles in Language Models
무엇인가
대규모 언어모델은 하나의 파라미터 집합으로 서로 다른 과제를 수행한다. 회로 분석 연구들은 과제가 달라도 같은 어텐션 헤드와 회로의 상당 부분이 재사용된다는 것을 보여줬지만, 그 공유 헤드가 각 과제에서 무엇을 다르게 하는지는 설명하지 못했다. 이 논문은 그 차이를 두 축으로 나눈다. 하나는 그 헤드가 어떤 사실에 반응하는가이고, 다른 하나는 그 출력이 이후 구성요소에 어떻게 영향을 주는가이다. 뇌과학에서 같은 뇌 영역이 과제에 따라 다른 기능적 연결을 맺는다는 관점을 언어모델에 옮긴 것이다.
어떻게 동작하나
실험 설계는 그래프 사실을 고정하는 데서 출발한다. 각 프롬프트는 방향 간선 A→B, B→C, A→C의 존재 여부라는 세 가지 그래프 사실을 준다. Compose path 과제는 A→B와 B→C가 모두 있을 때 경로 A→B→C가 존재하는지 묻고, Read direct edge 과제는 A→C가 있는지 묻는다. 두 프롬프트는 같은 그래프 사실과 같은 응답 키를 쓰고 오직 과제 지시문만 다르다. 두 과제가 서로 반대 답을 요구하는 그래프를 opposite-answer 그래프라 부른다. 측정 지표는 두 가지다. 영향력(influence)은 소스 사이트를 과제 방향을 따라 2단위(δ=2)만큼 양·음으로 이동시켰을 때 이후 사이트에서 나타나는 부호 있는 반응을 2δ로 나눈 값이다. 중요도(importance)는 사이트의 전체 활성화 벡터를 참조 프롬프트 평균으로 대체했을 때 정답 로짓 마진이 얼마나 줄어드는지다. 여기서 마진은 정답 토큰 로짓에서 대안 토큰 로짓을 뺀 값이다. 깊이가 증가하는 어텐션 헤드 세 개(H1–H3)와 이후 잔차 스트림 지점 하나(Res)를 골라, 6개 평균 영향값과 4개 평균 대체 효과로 프로파일을 만든다. 과제 평균 사이의 각도로 상대 패턴 변화를 재고, 어휘 그룹을 10,000번 부트스트랩해 95% 신뢰구간을 낸다.
무엇과 다른가
개입 절차는 세 갈래다. 사실 개입은 활성화 덧셈으로, 한 그래프 사실에 해당하는 잔차 활성화 차이를 선택한 디코더 층 앞의 사실 진술 구간 전체에 더한다. 과제 선택성은 관련 과제에서의 조정 효과에서 무관 과제에서의 효과를 뺀 값이다. 하류 복원은 이후 층의 잔차 활성화를 개입 없는 같은 프롬프트의 값으로 되돌려, 이후 활성화가 과제 선택성에 얼마나 기여하는지 본다. 내부 과제 편집은 지시문을 그대로 둔 채 내부 상태만 바꾼다. Read fact 2의 평균 참조 활성화에서 Read fact 1의 평균을 뺀 과제 벡터를 만들어, Read fact 1 아래에서는 더하고 Read fact 2 아래에서는 뺀다. 예측 분석에서는 H2에 가한 통제된 교란에 대한 H3의 반응을 선형 응답 맵으로 요약하고, 같은 프롬프트의 편집 전 맵과 편집 후 맵, 그리고 두 맵의 평균을 비교한다.
어떻게 쓰나
첫 번째 결과는 영향력이 과제에 따라 재분배된다는 것이다. Falcon-H1-1.5B에서 H1이 H2에 주는 평균 영향은 Compose path에서 −0.0145였는데 Read direct edge에서는 0.00101이 된다. 같은 지시문 변경으로 H1이 H3에 주는 영향은 0.0107에서 0.0238로 두 배 이상 커지고, 이후 잔차 사이트에 주는 영향은 0.0446에서 0.0346으로 줄어든다. 나머지 네 모델에서 가장 큰 변화는 H2에서 나타난다. H2가 H3에 주는 영향은 Gemma-2-9B와 Llama-3.1-8B에서 Compose path에서 Read direct edge로 갈 때 커지고, Qwen3-14B와 Falcon-H1-7B에서는 이후 잔차 사이트에 주는 영향이 줄어든다. 영향력 프로파일은 중요도 프로파일보다 과제 간에 더 많이 회전한다. 영향력에서 중요도를 뺀 각도 차이는 Gemma 30.17도[25.54, 34.81], Qwen 11.98도[5.35, 26.42], Llama 14.22도[3.53, 48.22], Falcon-H1-7B 0.83도[0.07, 3.51]이며, 네 모델 모두 Bonferroni 보정 부트스트랩 구간이 0을 배제한다. 잔차 사이트는 중요도 프로파일 제곱 노름의 97.8~99.95%를 차지한다.
전제와 한계
두 번째 결과는 사실 개입 효과가 과제 맥락에 의존한다는 것이다. 대상 사실이 정답을 결정할 때 개입의 조정된 답 변화가 더 컸다. Gemma-2-9B에서 A→B, B→C, A→C의 과제 선택성은 각각 13.14[12.52, 13.68], 14.14[13.39, 14.90], 17.24[16.81, 17.73] 로짓이고, Qwen3-14B에서는 36.47[35.24, 37.86], 37.57[35.93, 39.04], 52.46[50.83, 54.36] 로짓이다. 하류 복원은 세 사실 모두에서 복원 통제보다 과제 선택성을 더 많이 줄였다. 같은 순서로 Gemma의 조정된 감소는 6.87[6.28, 7.39], 5.96[5.52, 6.37], 8.60[7.97, 9.33] 로짓, Qwen은 35.21[33.97, 36.59], 36.26[34.68, 37.64], 51.30[49.74, 53.08] 로짓이다. 내부 과제 편집은 더 직접적이다. Gemma-2-9B와 Qwen3-14B는 두 편집 방향 모두에서 512개 opposite-answer 프롬프트 전부에 대해 대안 지시문의 답으로 전환하고, 512개 same-answer 프롬프트에서는 정답을 유지했다. 무작위 조기 편집은 모델당 1,024개 프롬프트 전부에서 원래 답을 보존했다. Read fact 1 지시문이 그대로 적혀 있는데도 H2와 H3는 Fact 2에 가장 반응하게 되며, Fact 2의 반응 몫은 Gemma에서 H2 78.9%p, H3 97.1%p, Qwen에서 68.7%p, 91.8%p 증가한다. 편집 후 대안 지시문의 비편집 영향 프로파일까지 평균 제곱 거리는 Gemma에서 93.2%, Qwen에서 76.7% 줄었다. 개별 헤드 복원은 조기 편집이 살아 있는 상태에서 원래 답 마진을 Gemma H2 0.203, H3 0.288 로짓, Qwen H2 0.299, H3 0.661 로짓만큼 되돌리며, 이는 편집이 만든 평균 마진 이동의 1.13%, 1.61%(Gemma)와 0.62%, 1.37%(Qwen)에 해당한다.
세 번째 결과는 맥락이 예측 자체를 바꾼다는 것이다. 같은 프롬프트 안에서 현재 내부 맥락에 맞는 응답 맵은 편집 전후 두 맵의 평균보다 사실 개입에 대한 H3 반응을 더 정확히 예측했고, 평균 제곱 오차가 Gemma-2-9B에서 53.6%, Qwen3-14B에서 5.0% 줄었다. 그래프 과제로 파인튜닝한 Gemma와 Qwen에서는 AND 과제 아래에서 같은 H2 변위가 대상 사실이 정답에 영향을 줄 때 더 강한 H3 반응을 만들었다. 관련 대 무관 평균 제곱 반응 비는 Gemma 1.40[1.31, 1.51], Qwen 1.53[1.34, 1.74]이다.
개발자 관점에서 이 논문이 주는 실무적 함의는 두 가지다. 첫째, 어떤 헤드가 특정 행동에 관여한다는 사실만으로는 그 헤드가 다른 과제에서 무엇을 하는지 알 수 없다. 같은 헤드를 대상으로 한 개입이 과제에 따라 전혀 다른 하류 효과를 낼 수 있으므로, 회로를 재사용해 다른 동작을 구현하는 모델을 다룰 때는 과제별 영향력 프로파일을 따로 측정해야 한다. 둘째, 특정 행동만 바꾸고 나머지를 보존하려는 개입을 설계할 때 내부 과제 상태를 맞추는 것이 예측 정확도를 크게 높인다. Gemma에서 53.6%라는 오차 감소는 어떤 개입이 어떻게 전파될지 추정할 때 맥락 일치가 얼마나 중요한지를 보여준다. 다만 Qwen의 5.0%처럼 모델에 따라 이득이 크게 다르다는 점도 함께 봐야 한다.
저자들이 밝힌 한계와 전제는 분명하다. 각 영향값은 선택된 사이트 바깥의 구성요소를 포함한 중간 네트워크를 통해 전달된 반응을 기술하며, 그 해석은 선택한 활성화 방향과 교란 크기에 묶인다. 예측 분석은 측정된 소스 변위와 같은 프롬프트에 대해 추정한 응답 맵을 사용하므로, 개선은 그 설정 안에서 내부 과제 상태를 맞춘 이점을 보여줄 뿐이다. 조건부 반응 결과는 그래프 과제로 파인튜닝한 Gemma와 Qwen을 AND 지시문 아래에서 평가한 경우에 적용되고, 사실 개입과 내부 과제 편집, 응답 예측은 추가 학습을 하지 않은 Gemma와 Qwen을 사용한다. 저자들은 영향 측정이 추정에 쓰인 프롬프트 너머로도 예측력을 갖는지가 아직 열린 질문이라고 적었다.