트랜스포머는 프롬프트를 거듭제곱으로 잊고 남는 정보는 생성 텍스트가 운반한다

무엇인가

이 논문은 자기회귀 트랜스포머가 프롬프트를 받은 뒤 t개의 토큰을 생성했을 때, 그 프롬프트를 은닉 상태에 얼마나 남기는지를 묻는다. 저자는 생성된 텍스트라는 외부 기록과 현재 위치의 잔차 스트림이라는 내부 기억을 구분한다. 두 프롬프트가 서로 다른 자유 생성을 하면 은닉 상태 차이가 프롬프트 때문인지 생성 텍스트 때문인지 알 수 없으므로, 두 프롬프트 뒤에 같은 이어쓰기를 붙이는 교사 강제 방식을 쓴다. 이때 두 실행의 잔차 스트림 차이를 프롬프트 오프셋이라 부르고, 이것이 t가 커질수록 어떻게 줄어드는지를 측정한다. 문제는 긴 대화에서 시스템 프롬프트의 페르소나와 제약이 잘 지켜지지 않는 현상, 즉 지시 드리프트와 직접 연결된다.

어떻게 동작하나

측정은 층 l에서 Δ_l(t;c)=h_l(x′∘c,t)−h_l(x∘c,t), 그 노름 δ_l(t;c)로 정의된다. 오프셋의 크기만 보지 않고, 이어쓰기 전체에 공통으로 남는 신호와 이어쓰기마다 달라지는 잡음을 나눈다. 신호 S_l(t)는 이어쓰기들에 대한 평균 오프셋을 제곱해 σ_l,j로 정규화하고, 잡음 N_l(t)는 이어쓰기들 사이의 분산을 같은 단위로 정규화한다. 신호는 t^{-2α_l}, 잡음은 t^{-2β_l}로 요약하며, β_l이 거의 0이어서 프롬프트가 얼마나 빨리 잊히는지는 α_l 하나로 결정된다. 늦은 시점의 편향을 줄이기 위해 평균을 제곱하는 대신 이어쓰기 쌍들의 곱을 평균하는 불편 추정량을 쓰고, 16토큰 창을 옥타브 간격으로 배치하되 창의 끝이 아니라 중심 시점으로 라벨링한다. 실험은 Pythia-160m의 8개 체크포인트(0, 128, 256, 512, 1000, 4000, 16000, 143000), Pythia-410m과 1b의 초기화 및 훈련 후, Qwen2.5-0.5B의 훈련된 모델과 무작위 초기화, Qwen2.5-1.5B 훈련 모델에서 수행된다. 필기 장면 20개에는 세부 단어 변경, 바꿔쓰기, 장르 변경, 번역 변형이 있고, WikiText-103 검증 이어쓰기 16개가 장면마다 공유된다. 실제 코퍼스 쌍은 축마다 100개이며 이어쓰기 8개를 공유한다.

무엇과 다른가

이론의 핵심은 희석이다. 길이 P의 프롬프트는 고정된 위치를 차지하지만, 거리 i의 질의는 P+i개의 키를 보므로 프롬프트의 어텐션 몫은 대략 1/t로 줄어든다. 저자는 유한 깊이 pre-LN 소프트맥스 트랜스포머, 유계 어텐션 로짓, 그리고 pre-norm 활성값이 0에서 떨어져 있다는 비퇴화 조건 아래에서 오프셋이 O(P(log t)^{L-1}/t)로 줄어든다고 증명한다. 이어쓰기 토큰이 앞 토큰이 읽은 프롬프트 정보를 전달하는 릴레이는 로그 인자만 더할 뿐이다. 균일 어텐션은 이 한계를 점근적으로 달성하며, 임의의 층 이득에 대해 정확히 풀리는 선형 릴레이 모델은 한계를 더 개선할 수 없음을 보이고, 훈련되지 않은 네트워크에서 관찰되는 국소 지수의 1 쪽 상승도 재현한다. 이것이 조건부 노헤어 정리다. 생성된 텍스트가 주어지면 다음 토큰에 대한 프롬프트의 영향은 t가 커질수록 사라지고, 언어처럼 살아남는 성질은 텍스트 자체가 운반해야 한다.

어떻게 쓰나

실험에서 훈련된 모델은 α≈0.55–0.7로 빠르게 잊고, 훈련되지 않은 모델은 α≈0.2–0.5로 느리게 잊으며 깊이가 커질수록 α가 작아진다. 어텐션 기여를 프롬프트를 직접 읽는 경로와 이어쓰기 토큰을 통해 전달되는 릴레이 경로로 분해하면, 측정된 α를 모든 층과 훈련 단계에서 0.06 이내로 재현한다. 훈련은 첫 10억 토큰 안에 릴레이를 억제하며, 이는 어텐션 싱크가 형성되기 전이다. 망각은 128단계와 512단계 사이에 시작되고, 첫 층이 강한 최근성 편향을 갖기 전이며, 어텐션 싱크 형성보다도 이르다. 어텐션 가중치만으로는 정보 흐름을 믿을 수 없다는 것도 확인된다. 자유 생성에서는 세부 단어, 바꿔쓰기, 장르 차이가 텍스트에서 더 이상 디코딩되지 않지만 언어는 남아 Qwen2.5-0.5B에서 0.81, Pythia-160m에서 0.84의 정확도로 t=512에서 구분된다. 다만 언어는 보존되지 않아 Qwen에서는 장면당 32개 궤적 중 4–11개가 주로 중국어로 언어를 바꾼다. 교사 강제 언어 축의 오프셋도 훈련된 Pythia-160m의 3–11층에서 α=0.54–0.65로 여전히 감소하며, 한 단어 세부 변경의 0.61–0.69와 비슷하다. 따라서 언어는 프롬프트 기억이 아니라 이미 쓰인 궤적을 통해 외부 채널로 살아남는다.

전제와 한계

인과 실험은 희석을 보상한다. 이어쓰기 질의 q에서 프롬프트 토큰 1..P−1로 가는 로짓에 γ log((q+1)/P)를 더해 1/t 감소를 상쇄한다. 초기화와 512단계에서는 보상이 망각을 제거하지만, 훈련 후 균일 보상은 α=0.11–0.29를 남기고 헤드별 보상은 α<0으로 망각을 역전시킨다. 헤드별 보상은 퍼플렉서티를 140% 이상 올려 실용적이지 않다. 약한 보상 s=0.5는 α를 0.17–0.25 낮추는 대가로 퍼플렉서티를 2.6% 올린다. Qwen2.5-0.5B-Instruct에 프랑스어로만 답하라는 시스템 프롬프트를 주고 2048토큰을 생성하면 완전히 프랑스어인 표본 비율이 31%에서 94%로 오른다. Qwen2.5-1.5B-Instruct는 84%에서 94–100%가 되지만, 같은 평균 세기의 상수 보상도 비슷하게 효과가 있고 메아리는 더 적다. 8턴 멀티턴 대화 32개 조건에서 보상이 없으면 프랑스어 비율이 첫 턴 뒤 0.90에서 0.81–0.87로 떨어지고 78%만 끝까지 프랑스어를 유지한다. log t 보상 0.1과 0.25는 마지막 세 턴 프랑스어 비율 0.90과 0.96, 완전 프랑스어 대화 84%와 91%를 보이며, 같은 평균의 상수 보상은 0.94와 0.94, 84%와 88%다. 늦은 턴의 메아리는 기준선 수준이고, 높은 세기에서 1000단어당 누출 단어가 12.9 대 8.6으로 첫 답변에 집중된다. 반복은 늘지 않고 답변은 약 10% 짧아진다. 강제 길이 단일 턴 생성에서는 출력 후반부가 지시를 말하는 비율이 19%에서 56–69%로 오른다. 세 테스트 모두에서 도움이 되는 것은 보상의 모양이 아니라 지시에 더 많은 어텐션을 주는 것이다.

개발자에게 이 논문은 긴 시스템 프롬프트와 장기 에이전트 제약을 한 번 넣고 끝내면 안 된다는 실무적 신호를 준다. 프롬프트의 영향은 문맥이 길어지며 기하학적으로 희석되므로, 중요한 지시는 대화 중간에 다시 주입하거나 상수 보상으로 어텐션을 올리는 편이 log t 모양의 보상보다 단순하고 비슷할 수 있다. 다만 보상은 퍼플렉서티와 지시 메아리라는 비용을 낸다. 또 어텐션 가중치가 높다고 프롬프트 정보가 남아 있다고 결론내리면 안 되며, 은닉 상태의 오프셋과 실제 디코딩 가능성을 봐야 한다. 저자는 Hugging Face 인과 언어 모델의 α를 측정하는 툴킷을 공개하겠다고 밝혔지만, 원문에 URL은 제시되지 않았다.

한계도 분명하다. 정리의 상수는 깊이에 따라 지수적으로 커질 수 있고, 한계는 t가 P e^{2B}보다 훨씬 클 때만 정보를 준다. 비퇴화 가정은 이론적으로 유도된 것이 아니라 측정된 시퀀스에서 경험적으로 확인되었고, Qwen 첫 블록에서는 여유가 작다. 핵심 측정은 Pythia-1b까지, 행동 실험은 Qwen2.5-1.5B까지라 더 큰 규모에서의 변화를 배제할 수 없다. 프롬프트는 영어이고 프랑스어와 예비 중국어 변형이 있으며, 자유 생성은 단일 온도를 쓴다. 이어쓰기는 WikiText 구절이며 연속 구절인지 섞인 문장인지에 따라 훈련된 모델의 감쇠 모양이 달라진다. Qwen의 늦은 감속은 1/t 근처에서 진동하는 1층 어텐션과 관련 있고 그 주기와 회전 주파수의 관계는 미해결이다. 단일 턴 행동 테스트는 생성 길이를 강제해 후반부가 이야기 종료 후 채우기 텍스트를 포함하고, 멀티턴 테스트는 조건당 32개 대화뿐이라 차이가 유의미한 효과가 아니라 추세다. 지수는 최대 7개 옥타브에서 적합되어 로그 보정 설명과 작은 이득 설명을 구분하기 어렵다.