인컨텍스트 학습은 반복 신호로 켜지는 연상 조회 회로다

무엇인가

이 논문은 임의 레이블이 붙은 소수샷 문장 분류에서 사전학습 언어모델이 파라미터 업데이트 없이 한 번의 순전파로 새로운 매핑을 수행하는 인컨텍스트 학습(ICL)의 내부 구성을 다룬다. 기존 연구가 유도 헤드, 과제 벡터, 레이블 토큰 같은 후보 부품을 찾았지만 그것들이 어떻게 조합되는지는 설명하지 못했다는 문제의식에서 출발한다. 저자들은 Qwen3-4B-Base, SmolLM3-3B-Base, Llama-3.2-3B 세 모델에서 두 클래스 레이블 검색과 함수 선택을 대상으로, ICL이 기울기 계산이 아니라 '게이트가 붙은 연상 조회'로 구현된다고 주장한다. 이는 프롬프트 예시가 모델의 사전 지식을 덮어쓰는 상황을 이해하고 진단하는 데 중요하다.

어떻게 동작하나

논문이 제시하는 회로의 중심은 레이블 토큰 위치의 키-값 메모리다. 각 레이블 토큰의 잔차 스트림은 슬롯처럼 동작하며, 값은 레이블의 정체성, 키는 바로 앞 문장의 클래스다. 중간층 10~23층의 약 20개 어텐션 헤드가 레이블 토큰에서 자기 문장으로 주의를 보내 클래스 방향 u를 써 넣고, 상위층의 약 90개 리더 헤드가 질의의 클래스를 저장된 키와 비교해 일치하는 레이블을 복사한다. 읽기는 그냥 항상 켜지지 않는다. 1~9층의 중복 토큰 헤드 16개가 같은 레이블이 두 번 나왔는지를 감지하고, 20~23층의 평탄 풀링 헤드가 이를 질의 위치의 단일 방향 g로 모은다. g는 위치 0의 어텐션 싱크 로짓을 낮춰 리더가 슬롯을 읽도록 문을 열며, 반복이 없으면 싱크가 소프트맥스를 차지해 아무 레이블도 선호하지 않는 널 액션이 된다. 별도로 약 24개 헤드로 이뤄진 브레이크 집단이 가장 최근에 본 레이블을 억제해 최근성 편향을 줄인다. 저자들은 쌍둥이 프롬프트, 활성화 패칭, 무작위 헤드 대비 평균 절제, 모델 자신의 신호 크기로 한 스티어링, 무작위 방향 대조로 각 단계를 인과적으로 검증했고, 모든 헤드와 MLP의 로짓 기여 합이 모델 로짓과 0.05 nat 이내로 일치함을 확인했다.

무엇과 다른가

메모리의 값과 키는 서로 다른 쪽에서 읽힌다. 레이블 교환 실험에서 SmolLM3는 리더층 21~29의 레이블 토큰 키·값 패칭만으로 전체 −5.55 nat 중 −2.94 nat를 옮겼고, Qwen에서는 21~29층 72개 키-값 그룹의 값이 교환 효과의 86%를 담았다. Qwen의 세 그룹이 그 효과의 절반, 24층 한 그룹이 4분의 1을 설명했고, 가장 예리한 리더 8개의 값은 −2.16 nat를 담은 반면 키는 +0.56 nat로 반대 방향이었다. 문장을 다른 클래스로 바꾼 실험에서는 21~29층 레이블 토큰의 키 패칭이 −2.87 nat 중 −2.35 nat를 옮겼고, 같은 클래스의 다른 문장으로 바꾼 통제는 +0.08 nat, 모든 핸드오프가 ±0.06 nat 안에 머물렀다. 읽기 쪽에서는 각 리더의 직접 로짓 기여가 0.2 nat를 넘지 않아 1.3 nat 답은 최소 7개 헤드의 합이 필요했고, 클래스 뒤집힘의 60%가 리더들을 통과했다. 저자들은 매칭 슬롯에 대한 어텐션 질량이 슬롯 수, 매칭 슬롯 수, 싱크 로짓으로 결정되는 소프트맥스 식을 따르며 헤드당 세 상수 중 두 개가 식별 가능하다고 보고했다. 12개 시연으로 맞춘 이 법칙은 클래스당 슬롯이 하나인 조건을 Qwen 중앙오차 0.07(헤드 69%가 0.1 이내), Llama 0.04(83%)로 예측했지만, 18개 시연의 긴 프롬프트에서는 중앙오차 0.15와 0.13으로 무너졌고 92~94% 헤드가 과대예측됐다. 원인은 각 헤드의 싱크 어텐션과 매칭 슬롯 총어텐션이 거의 고정돼 추가 슬롯이 기존 예산을 나누기 때문이라고 설명한다.

어떻게 쓰나

게이트의 효과는 반복 구조에 대한 정확도 의존성으로 드러난다. 클래스당 시연이 하나일 때 검색 정확도가 약 20%였고, 두 개면 60~80%, 여섯 개면 96%였다. 반복 레이블 프롬프트와 모두 고유한 레이블의 토큰 동일 쌍둥이를 가르는 g는 23층 질의 위치에서 홀드아웃 부호 일치 1.00을 보였고, 반복 프롬프트는 +18, 고유 레이블 쌍둥이는 −21로 투영됐다. 중복 토큰 헤드 16개를 평균 절제하면 이 투영이 +18.3에서 −0.3으로 내려갔고, 무작위 16개는 최대 0.7, 유도 점수 상위 16개는 4.2밖에 움직이지 못했다. g를 자연 사용량만큼 더하면 리더들의 싱크 로짓이 L24h8에서 1.75, L28h0에서 3.25, L29h11에서 3.65 nat 낮아졌고, 분산 리더 전체로는 자연량 0.74, 두 배 1.41 nat였으며 같은 크기 무작위 방향은 0.2 이하였다. 고유 레이블 프롬프트에서는 싱크가 리더 어텐션의 0.67을 차지하고 마진이 +0.24였는데 g를 더하자 마진이 +0.73이 됐다. 반복 레이블 프롬프트(마진 +0.83, 싱크 0.02)에서 중복 감지기를 빼면 싱크가 0.54로 올라가 마진이 +0.39로 떨어졌고, g를 다시 더하면 +0.84로 회복됐으며 리더 질의에서 g를 제거하면 다시 +0.39가 됐다. 키 작성 헤드를 빼면 읽을 것이 없어져 마진이 0.00이 됐고, 리더 출력을 상한으로 묶으면 리더 수 1, 3, 8, 20개에 따라 마진이 0.16, 0.49, 1.25, 2.53 nat로 커졌다. 이로써 명명된 부품들이 이런 배선으로 법칙과 게이트를 재현한다는 충분성을 보였지만, 훈련된 모델이 왜 이 부품을 선택하는지는 별도 문제로 남긴다.

전제와 한계

회로는 세 모델에서 보존됐지만 각 역할을 맡는 헤드는 달랐다. 의미 개념과 자연어 레이블로도 전이됐고, 레이블 자체가 의미를 가질 때 리더와 브레이크 유형이 시연을 따라가는 마진의 일부를 담당했으며 단어 의미를 따라가는 부분은 회로 밖에 남았다. 한 모델 패밀리의 0.6B부터 8B까지 같은 부품과 인과적 게이트가 나타났고, 브레이크가 단어 의미를 붙드는 정도는 뒤집힌 레이블 마진과 함께 커졌다. 이는 Wei 등이 큰 모델에서만 발견한 행동이 새 부품 없이 기존 부품의 세기 균형 변화로 나타날 수 있음을 시사한다. 명령 튜닝 후에도 기반 모델의 헤드가 검색을 계속 담당했고, 400스텝 LoRA는 리더의 필요성을 세 배로 키웠지만 브레이크는 +1.32 대 +1.44 nat로 거의 그대로였다. 처음부터 훈련한 4층 8헤드, 3.4M 파라미터 모델에서는 쓰기·리더 부품이 생겼으나 게이트는 혼합·반복 전용 분포에서 나타나지 않았다. 고유 레이블 프롬프트의 검색이 훈련에서 벌점을 받는 세 번째 분포에서만 5개 시드 중 4개에 게이트가 생겼고, 반복 프롬프트 마진 8.7~9.1 nat 대 고유 프롬프트 1.8~2.3 nat로 갈렸다. 저자들은 이것이 사전학습 모델에 게이트가 있는 이유에 대한 첫 인과적 증거라고 주장한다.

개발자에게 이 논문의 실무적 메시지는 ICL을 '예시로 규칙을 학습한다'가 아니라 '클래스가 선형으로 읽히면 레이블을 연상 조회한다'로 보라는 것이다. 저자들은 질의 화살표 위치에서 클래스가 선형으로 표현되지 않는 패리티, 단어의 세 번째 글자, 숫자 규칙 같은 특징은 시연을 늘려도 키로 쓰이지 않았고, 그러한 프롬프트에 키 방향 u를 손으로 넣자 정확도가 50%에서 71%로 올랐다고 보고했다. 따라서 소수샷 프롬프트를 쓰기 전에 목표 클래스가 질의 위치에서 선형 프로브로 읽히는지 확인하는 값싼 진단이 가능하다. 또한 레이블 반복은 단순한 형식이 아니라 읽기 게이트를 여는 신호이므로, 예시마다 레이블이 한 번씩만 나오는 프롬프트는 모델이 아예 검색을 하지 않을 수 있다. 최근 레이블을 억제하는 브레이크 집단이 따로 있어 최근성 편향은 단순한 어텐션 부산물이 아니라 조절 가능한 회로 요소다. RAG나 프롬프트로 모델의 사전 지식을 덮어쓰려는 상황에서, 모델이 훈련 지식 대신 문맥을 믿을지의 결정 일부가 소수 방향과 집단에 의해 이뤄진다는 점도 운영상 측정·조정 후보가 된다.

논문이 스스로 밝힌 범위는 좁다. 두 클래스 레이블 검색과 함수 선택, 짧은 문장, 단일 토큰 레이블, 최대 12개 시연, 3~4B 기반 모델 세 개가 중심이고, 한 패밀리에서 0.6B~8B까지 부품을 다시 찾았을 뿐 8B를 넘는 규모는 다루지 않는다. 명령 수행, 장문 과제, 많은 클래스 사이의 바인딩은 범위 밖이다. 읽기 법칙은 같은 프롬프트 길이에서만 성립하고 더 긴 프롬프트로 외삽되지 않으며, 적합 상수는 서로 완전히 식별되지 않고, 각 헤드의 싱크·매칭 예산이 왜 고정되는지는 설명하지 못한다. 브레이크가 훈련에서 어디서 오는지도 열린 문제이고, many-shot LoRA가 브레이크를 강화할 것이라는 예상은 빗나갔다. 가장 큰 직접 이동 헤드 7개를 뺀 실험은 예상 부호는 맞았지만 신뢰구간이 0을 포함했다. 저자들은 경계 안에서는 모든 연결에 개입과 통제가 있지만 경계 밖은 보지 않았다고 명시한다.