패러프레이즈 일관성으로 트랜스포머 표현의 내용과 조향 취약성을 분해한다

무엇인가

이 논문은 트랜스포머 표현 해석 도구들이 놓친 문제를 다룬다. 기존 도구는 한 활성값을 피처로 분해하거나 이미 정한 속성의 선형 디코딩 가능성을 시험하거나 두 활성 공간을 비교했지만, 문구만 바뀌고 의미가 같을 때 같은 정보가 유지되는지, 즉 문맥 간 일관성을 직접 시험하지 않는다. 저자들은 이를 조향(steering)의 불안정성과 연결한다. 조향 기법이 어떤 모델에서는 개선되고 어떤 모델에서는 실패하거나 악화되며, 같은 모델 안에서도 입력별 조향 가능성이 크게 달라지는데 기존 도구가 어느 영역인지 예측하지 못한다는 것이다. 그래서 각 패러프레이즈 쌍을 두 활성값이 일치해야 한다는 국소 증인으로 보고, 이 증인들을 모아 전역 의미를 결정하는 국소-전역 일치 문제로 재구성한다.

어떻게 동작하나

방법의 중심에는 패러프레이즈 그래프 위의 세포층(cellular sheaf)이 있다. 그래프의 노드에는 은닉 상태가 놓이고, 엣지는 패러프레이즈 쌍을 연결하며, 제한 사상 P^T가 전체 활성 공간을 k차원 비교 공간으로 투영한다. 코바운더리 δ0는 엣지 양 끝의 투영된 활성값 차이로 쌍별 불일치를 재고, 층 라플라시안 L_F=(δ0)^Tδ0의 커널 H0를 모든 패러프레이즈 쌍에서 일치하는 내용 부분공간으로 읽는다. 스펙트럼 보집합은 문구·통사·표면형에 따라 달라지는 고불일치 방향이며, 논문은 이를 H1 방향이라고 부른다. 다만 단일 층 매칭 그래프는 사이클이 없어 대수적 H1이 0이고, 이때 구성은 투영된 쌍내 공분산으로 줄어든다. 여기서 H1이라는 이름은 높은 불일치를 가리키는 기억 장치일 뿐 실제 코호몰로지 클래스는 아니라고 저자들은 명시한다.

무엇과 다른가

구체적으로 P는 공동 PCA, CCA, 대조적 Fisher 판별 방식으로 학습한다. 실험에서는 엣지 차원 k=128을 사용해 쌍내 분산의 98% 이상을 포착하고, 하위 20개와 상위 20개 고유벡터를 각각 H0와 H1 방향으로 삼는다. 중요한 점은 이 분해가 학습 없이 동결된 모델에서 이루어진다는 것이다. 사이클을 만들기 위해 저자들은 층을 격자로 쌓는다. 노드는 문장과 층의 쌍이고, 같은 층의 패러프레이즈 사이에 수평 엣지, 인접 층의 같은 문장 사이에 수직 엣지를 둔다. 이 격자는 b1=N(L-1)개의 대수적 1-사이클을 가지며, 각 사각형은 층 l에서 l+1로 가는 변환이 패러프레이즈 동등성과 가환하는지를 묻는다. 모델에서 유도한 엣지 코체인 ω는 층별 PCA 제한 사상과 층 사이 직교 Procrustes 수송을 사용해 만들고, 하모닉 질량은 이 ω 에너지 중 Hodge 1-라플라시안의 커널에 실린 비율로 정의한다. 2-셀이 없는 격자에서는 이 라플라시안이 엣지 라플라시안으로 줄어든다. L=2에서 무작위 가우시안 코체인의 기대 하모닉 비율은 b1/|E|=0.25이며, 이것이 무작위 프로브 기준값이다. 관계 하이퍼그래프로도 사이클을 만들 수 있는데, 60개 사실, 사실당 5개 패러프레이즈, 6개 관계의 구성에서 300개 노드, 360개 엣지, dim H0=6, dim H1=66이 나온다. 다만 이 관계 하이퍼그래프의 사이클 홀로노미는 섞은 패러프레이즈 널과 유의하게 다르지 않았다.

어떻게 쓰나

내용 부분공간 실험은 ROME CounterFact의 사실 검색에서 진행된다. 500개 사실을 70/30으로 나누고 테스트는 150개로 두었다. 20차원 sheaf H0는 전체 은닉 차원을 쓰는 LEACE 보존 부분공간을 여덟 아키텍처에서 평균 +17.1pp 앞섰고, GPT-2에서는 85.3% 대 43.1%였다. 7~9B 모델에서도 20차원 H0가 4096차원 LEACE를 1.5~23.5pp 앞선다. 차원을 맞춘 LEACE-20D와 비교하면 27~60pp, 평균 +48.0pp 차이다. LEACE-20D는 PCA-20과 6pp 이내로 비슷해, 차원을 맞춘 뒤의 격차는 분해 방식에서 온다고 저자들은 해석한다. 제한 사상 P를 바꿔도 커널 선택이 결과를 주도한다. 여덟 아키텍처 평균에서 PCA-P는 81.6%, 무작위 직교 P는 74.2%, 항등 P는 77.5%였고, 커널을 쓰지 않은 PCA-20은 30.5%, 무작위 20차원은 51.2%였다. 한 사실의 모든 패러프레이즈를 함께 묶는 링 그래프는 쌍만 쓰는 H0보다 +3.2~+9.5pp, 평균 +6.5pp 좋아졌다. 그러나 엣지 수를 맞춘 비순환 경로도 쌍보다 +7.7pp를 회복했고, 링은 그 경로보다 +0.5pp 높았을 뿐 여덟 아키텍처 모두에서 유의하지 않았다. 즉 이득은 사이클 자체보다 여러 패러프레이즈를 공동 제약하는 데서 온다.

전제와 한계

기능적 영향 실험은 H1 방향이 실제 출력을 얼마나 바꾸는지 본다. MRPC 패러프레이즈 쌍에서 각 잔차 스트림 좌표의 평균 절대 쌍내 차이를 구해 상위 m개를 H1, 하위 m개를 H0, 나머지에서 변동성이 비슷한 m개를 대조군으로 잡는다. 해당 좌표를 0으로 만들고 나머지 순전파를 실행해 최종 로짓 또는 평균 풀링 은닉 상태의 L2 변화를 측정한다. 그 결과 H1 좌표를 소거했을 때 출력 변화가 좌표별 변동성을 맞춘 대조군 소거보다 124M~13B 파라미터의 아홉 모델에서 5.6~26.5배 컸고, 모든 95% 신뢰구간이 1을 배제했다. GPT-2(124M)는 18.2배, Mistral-7B는 19.71배로 56배 크기 차이에도 비슷했다. sheaf H1 고유기저 자체를 투영 소거하면 다음 토큰 분포가 같은 차원의 무작위 부분공간보다 17.8~398배 더 크게 이동했고, 사실 회수율은 0~5%로 붕괴했으며, 7B 모델에서는 변동성을 맞춘 무작위 소거가 기준선을 유지했다. 다만 저자들은 이 비율의 일부가 H1 집합이 제거하는 더 큰 총변동성 때문일 수 있다고 밝힌다. 대조군의 총변동성은 H1 집합의 0.13~0.53에 불과했다.

취약성 진단은 하모닉 질량과 조향 취약성의 순위 상관으로 이어진다. 하모닉 질량은 MRPC의 층 전이 차이에서, 조향 취약성은 CounterFact 사실 보존율에서 각각 구해 측정이 서로 분리되어 있다. L=2에서 모델 유도 하모닉 질량은 여섯 아키텍처에서 10^-4에서 0.08까지 거의 세 자릿수 범위를 보였고, 무작위 기준 0.25와 대비됐다. 하모닉 질량이 낮은 세 아키텍처가 가장 견고했고 높은 세 아키텍처가 가장 취약했으며, Spearman ρ=0.90, 720개 순위에 대한 정확 단측 순열검정 p=0.014였다. 유일한 순위 역전인 Qwen-2.5-7B와 Llama-3-8B는 34.3% 대 36.0%로 샘플링 오차 안이다. 취약한 Llama-2-7B에서는 무작위 조향이 사실의 4.2%만 보존했지만 대조적 sheaf 조향은 31.0%를 보존했고 McNemar p<10^-70였다. 견고한 Mistral-7B에서는 CCA sheaf가 41.6% 대 무작위 39.4%로 통계적 동률(p=0.19)이었고, Llama-3-8B에서는 무작위와 PIXEL이 36.0~38.8%로 앞섰다. α를 0.05~0.50으로 훑으면 H0를 제거한 sheaf 조향이 Mistral-7B와 Llama-3-8B에서 α=0.10~0.15일 때 무작위보다 평균 +1.0~2.0pp 좋았고, α=0.30부터 무작위가 경쟁력을 가졌다. 저자들은 견고한 아키텍처에는 α=0.10~0.15, 취약한 아키텍처에는 α≈0.30을 권한다. PIXEL은 Llama-2-7B에서 21.1%로 무작위 4.2%를 앞섰지만 Mistral-7B에서는 34.8%로 무작위 39.4%에 못 미쳤고, Llama-2-7B에서는 대조적 sheaf가 31.0%로 앞섰다.

개발자 관점에서 이 논문은 표현 편집과 조향을 할 때 내용 보존과 스타일 변동을 분리하는 진단 도구로 쓸 수 있다. H0는 문구 변화에도 유지되어야 하는 내용 부분공간이므로, 스타일 방향을 주입할 때 내용을 덜 건드리는 제약으로 활용할 수 있다. H1은 출력에 민감한 고불일치 방향을 찾는 데 쓰이고, 하모닉 질량은 조향 스윕 전에 모델별 취약성을 싸게 스크리닝하는 지표가 될 수 있다. 저자들은 하모닉 질량 계산에 MRPC 30쌍과 문장당 한 번의 순전파만 필요하다고 말한다. 다만 P가 아키텍처와 일부 도메인에 의존하므로 PCA·CCA·대조적 Fisher 중 무엇을 쓸지, α를 얼마로 둘지, H0/H1 차원을 어떻게 잡을지 모델별로 확인해야 한다. 이 구성은 동등하다고 주장된 문맥의 묶음만 있으면 되고, 부록의 교차언어 탐침은 번역 쌍으로도 전이됨을 보였지만 논리적 동등성이나 대화 연속성은 아직 시험되지 않았다.

저자들이 밝힌 한계도 분명하다. P는 아키텍처에 의존하고 부분적으로 도메인에 의존하며, 운용 구간은 α∈[0.10,0.15]다. 노드 공간에서 구현한 H1은 검색이나 조향으로 전이되지 않았고, 사이클 홀로노미는 섞은 널과 유의하게 다르지 않았다. 취약성 진단은 여섯 아키텍처에 대한 순위 상관일 뿐이라 예측기로 쓰려면 더 많은 아키텍처가 필요하다. 노드별 P_v와 Procrustes 수송을 쓰면 단일 P에 대한 명제 3.1의 축소가 깨지고, 서로 다른 차원의 활성값을 잇는 텍스트-이미지 인코더나 폭이 다른 모델 결합은 향후 과제로 남는다. 또한 매칭 그래프에서는 대수적 H1이 0이므로 H1 방향이라는 이름을 실제 코호몰로지로 오해하지 않아야 한다.