렉시컬 참조 프레임은 언어모델 중간 상태를 모델 자신의 어휘 의미로 읽는다

무엇인가

이 논문은 언어모델의 잔차 스트림 중간 상태를 어떻게 읽어야 하는지를 다룬다. 입력 임베딩과 출력 언임베딩은 어휘라는 모델 고유의 의미 체계를 정의하지만, 중간층 상태에는 그런 고정된 의미가 없다. 기존 로짓 렌즈·튜닝 렌즈·야코비안 렌즈는 층마다 하나의 선형 맵을 고정해 문맥을 무시하고, 포인트 클라우드 통계는 상태의 분포를 설명할 뿐 모델이 그 상태를 어떻게 쓰는지는 말해주지 않는다. 저자들은 OLMo3-7B의 32층 중 16층 뒤에서 로짓 렌즈 방향이 모델 자신의 어휘 판독과 75도, 야코비안 렌즈 방향이 77도 어긋나며, 출력 네 층 전에도 둘 다 최소 40도 어긋난다고 제시한다.

어떻게 동작하나

제안은 각 은닉 상태가 남은 층에 의해 유도되는 고유한 렉시컬 참조 프레임을 가진다고 본다. 상태 x_l(t)를 남은 층과 접두 문맥을 통해 마지막 층까지 옮기는 전이 T_l을 정의하고, 어휘 v의 렉시컬 판독을 b_l(v)=J_l^T(w_v-wbar), 렉시컬 기저를 s_l(v)=J_l^+s_v, 계수를 z_l(v)=<w_v,N(T_l(x_l(t)))>로 둔다. 여기서 J_l은 전이와 최종 정규화의 야코비안이다. 완전한 모델이 만드는 프레임이 네이티브 프레임이고, 유한 차수 LexFrame[n]은 전이를 남은 모든 층에 통과시키되 위치 간 어텐션을 n회만 계산하고 나머지 어텐션은 층별 전형적 어텐션 출력으로 대체한다. LexFrame[0]은 상태를 문맥 없이 읽고, 어텐션 출력을 a_hat_k(u)=a_bar_k+(u-u_bar_k)G_k로 근사하며 G_k는 비라벨 보정 텍스트로 층마다 한 번 적합한 릿지 회귀다. LexFrame[1]은 상태가 접두에 어텐션하게 하고 접두 상태는 LexFrame[0]으로 전이해 접두 내부 어텐션만 보류한다. LexFrame[2]는 접두 위치끼리의 어텐션도 허용하며, 차수가 커질수록 모델에 수렴하고 LexFrame[∞]는 네이티브 프레임이 된다. 모델 출력에 맞춰 학습하지 않으므로 층·체크포인트·모델 간 비교가 가능하다는 것이 핵심이다. 문맥 민감도는 coherence kappa로 측정되며, 층마다 하나의 고정 방향을 쓰는 렌즈는 sqrt(kappa)를 넘을 수 없다는 상한도 제시한다.

무엇과 다른가

실험은 36층 SmolLM3-3B와 32층 OLMo3-7B, WikiText-103의 128토큰 시퀀스, 256개 보정 시퀀스, 테스트 분할의 모든 층에서 진행됐다. 비교 대상은 로짓 렌즈, 야코비안 렌즈, 지도 선형 프로브, 포인트 클라우드 거리이고, 모델 출력에 맞춰 학습되는 튜닝 렌즈는 평가 대상과 같은 출력에 적합되므로 제외했다. 중간 깊이에서 네이티브 프레임의 coherence 제곱근 한계는 0.30과 0.35인데, LexFrame[1]의 평균 코사인은 0.97과 0.97, LexFrame[2]는 0.95와 0.95였고 렌즈와 프로브는 0.21~0.36에 머물렀다. 모델 출력과의 KL 발산은 층 평균으로 LexFrame[0]이 0.87과 0.93 nats, LexFrame[1]이 0.16과 0.15 nats, LexFrame[2]가 0.06과 0.05 nats였고 렌즈는 수 nats 벗어났다. 층 건너뛰기는 7.00과 2.59 nats로, 판독에는 전이와 어텐션이 모두 필요함을 보여준다.

어떻게 쓰나

LexFrame[1]은 상태의 0.86과 0.86에서 모델의 최상위 토큰을 맞혔고, SmolLM3는 18층, OLMo3는 17층부터 그 비율이 10분의 9에 이르렀다. 렌즈는 출력 한두 층 전에야 절반에 도달했다. 임베딩에서는 LexFrame[1]의 일치가 0.42와 0.39에 그쳐 단순히 출력을 복제하는 것이 아님을 보였다. 다음 토큰에 대한 보정 오차는 0.027과 0.018로 모델 자체의 0.018과 0.023에 가까웠다. 신뢰도 기반 조기 종료는 모델과 0.95 일치를 기준으로 LexFrame[1]이 층의 0.45와 0.42를 건너뛰게 했지만 렌즈는 최대 0.04였다. 16개 훈련 체크포인트에서 로짓 렌즈의 발산은 SmolLM3에서 4.82에서 29.06 nats, OLMo3에서 2.32에서 5.66 nats로 커졌고, LexFrame[1]은 최소 0.85와 0.86의 최상위 토큰 일치를 유지했다.

전제와 한계

포인트 클라우드 비교에서는 같은 층의 다른 위치 상태로 교체한 뒤 출력 변화를 측정했고, 층마다 7961쌍을 사용했다. 어떤 거리도 이 변화와의 순위 상관 0.28을 넘지 못했고 곡률을 따르는 측지 거리는 단순 코사인 거리보다 나빴다. 반면 LexFrame[1]에서 두 상태 판독의 발산은 0.94와 0.95, 임베딩에서도 0.64와 0.66으로 벌어져 남은 층이 반응하는 방향을 비교했다. 상태의 128개 최근접 이웃으로 탄젠트 공간을 추정했을 때 렉시컬 판독이 상위 64개 방향에 들어가는 비율은 최대 9.2%와 2.9%로 무작위 방향의 3.1%와 1.6%보다 조금 높을 뿐이었다. 좌표 실험에서 상태를 0.1 노름만큼 렉시컬 기저 s_l(v) 방향으로 옮기면 v의 로짓이 가장 많이 오르는 비율이 0.98과 1.00이었지만, LexFrame[∞]의 렉시컬 판독은 0.56과 0.79, 출력 프레임은 0.45와 0.80, 입력 프레임은 0.42와 0.00이었다. LexFrame[1]의 야코비안으로 만든 기저는 0.84와 0.97이었다. 계수는 전이 없이 계산하면 수 nats 벗어났고 LexFrame[1] 전이를 쓰면 0.16과 0.15 nats 이내였으며, 판독을 선형화해 상태와 내적하면 로짓과의 상관이 0.10과 0.02에 그쳤다. 즉 라벨을 측정하는 방향과 출력을 그 라벨 쪽으로 움직이는 방향은 다르다.

조향 실험은 차점 토큰이 최상위 토큰을 넘도록 단일 상태를 움직이는 과제다. 렉시컬 판독 방향으로 LexFrame[1]은 0.92와 0.94의 예측을 뒤집어 LexFrame[∞]의 0.95와 0.97에 근접했고 렌즈는 최대 0.81이었다. 렉시컬 기저 방향은 비슷한 수의 예측을 뒤집으면서 다른 토큰 교란은 0.009와 0.004 nats로 판독의 0.033과 0.025보다 훨씬 작았고, 깨끗한 뒤집힘은 0.73과 0.85였다. LexFrame[1]의 야코비안으로 계산한 기저도 0.71과 0.82를 달성했다. 16층 단일 위치에서 판독은 상태 노름의 중앙값 0.10과 0.03만큼 움직여 예측을 뒤집었고 렌즈는 10배 큰 걸음을 필요로 했다. 귀인 실험은 한 위치에서 구성요소가 쓴 것을 제거하고 접두는 그대로 둔 채 순전파를 완료해 중심 로짓 변화를 측정했고 64개 시퀀스를 사용했다. LexFrame[1]의 계수 차이는 측정 효과와 0.88과 0.90 상관을 보여 LexFrame[∞]의 선형 귀인 0.62와 0.68보다 높았고, 위치별 중앙 상관은 0.97과 0.93, 렌즈를 능가한 위치 비율은 0.99와 0.98이었다. MLP에서는 0.88과 0.90 대 0.63과 0.71로 차이가 컸고 어텐션에서는 0.79와 0.85 대 0.75와 0.84로 작았다. 렌즈는 최대 0.20에 그쳤다.

개발자 관점에서 이 프레임은 중간층을 쓰는 조기 종료, 자기 추측 디코딩, 환각 탐지, 지식 편집, 교사 중간 상태를 맞추는 증류·가지치기 파이프라인에 직접 연결된다. 특히 중간 깊이에서 로짓 렌즈가 왜 출력과 어긋나는지, 문맥에 따라 달라지는 상태를 어떤 좌표로 읽고 써야 하는지를 보여준다. 조향에서는 판독보다 기저 방향이 다른 토큰을 덜 건드리고, 귀인에서는 선형 근사보다 계수 차이가 MLP 효과를 더 잘 따라간다는 점이 실무적으로 중요하다. 다만 프레임은 상태마다 새로 계산되는 국소 좌표계이고 전이·야코비안 계산이 필요하므로, 층별 고정 행렬 하나로 끝나는 렌즈보다 비용이 크다. 중간층 해석이나 선택적 개입이 필요한 경우 LexFrame[1]을 먼저 검토하고, 접두 내부 상호작용이 중요한 경우 LexFrame[2] 이상을 비교하는 식이 현실적이다.

저자들이 밝힌 전제와 한계도 분명하다. LexFrame[n]은 남은 계산의 일부를 의도적으로 보류한 근사이며, LexFrame[1]은 접두 위치 사이의 어텐션 교환을 놓치고, n차 프레임은 남은 층이 n개 이하일 때만 정확하다. LexFrame[∞]는 모델 출력과 같아져 판독 자체로는 새로운 정보를 주지 않고, 전형적 어텐션 출력은 비라벨 보정 텍스트로 층마다 한 번 추정한다. 실험은 SmolLM3-3B와 OLMo3-7B, WikiText-103 128토큰 시퀀스에 한정되며, 좌표 실험의 야코비안은 32비트 정밀도로 층마다 64개 상태에 대해 계산됐다. 튜닝 렌즈는 모델 출력에 적합된다는 이유로 비교에서 제외됐고, 고정 방향 렌즈의 sqrt(coherence) 한계는 층마다 하나의 맵을 쓰는 방법에 대한 이론적 상한이다. 따라서 다른 모델·긴 문맥·다른 과제에서의 비용과 일반화는 별도로 확인해야 한다.