활성화 파편화로 LLM이 숨긴 지식을 찾아낸다

무엇인가

이 논문은 LLM이 어떤 개념을 실제로 아는지, 아니면 출력만 억제된 것인지를 구분하는 문제를 다룬다. QA 정확도나 토큰 퍼플렉시티 같은 행동 지표는 모델이 답을 거부해도 내부에 복구 가능한 지식이 남아 있는 경우를 놓친다. 특히 언러닝은 지식을 지우기보다 출력 경로를 막거나 표현을 다른 방향으로 돌리는 경우가 많아, 표면 성능만으로는 삭제 성공을 판단하기 어렵다. 기존 내부 프로브도 프롬프트의 구문 정보와 얽히고, 단일 단계로 적대적 복구 가능성을 예측하지 못한다는 것이 저자들의 문제의식이다.

어떻게 동작하나

제안 방법의 핵심은 anon-vector다. 같은 개념을 묻는 질의 q_i와 identity를 제거한 익명화 패러프레이즈 a_i의 평균 풀링 은닉 상태 차이로 정의한다. 수식으로는 Δv_i(ℓ)=h_ℓ(q_i)−(1/K)Σ h_ℓ(a_i^(k))이며, 실험에서는 K=1로 질의당 두 번의 포워드 패스만 쓰고 토큰 생성이나 반복 최적화를 하지 않는다. 익명화 기준을 빼면 공유된 언어·구문 성분이 상쇄되고 개념 고유 성분만 남는다는 가정이다. 알려진 개념에서는 여러 질의의 Δv가 같은 방향으로 모여 낮은 엔트로피의 촘촘한 클러스터를 만들고, 모르는 개념에서는 잡음처럼 흩어져 파편화된다. 이를 측정하려고 ΔV 행렬에 그램 행렬 엔트로피 S2를 적용한 AnonDiff_S2를 주 지표로 쓰고, 원시 은닉 상태의 Reg_S2와 L2 정규화 버전을 비교한다. 또한 N개 질의를 B=10 배치로 나눠 배치 평균 방향의 일관성을 보는 AUSS_L2, AUSS_cos2, AUSS_Jac을 제안한다. 각각 배치 평균 방향 사이의 평균 제곱 L2 거리, 평균 제곱 코사인 유사의 보수, 상위 32개 좌표 집합의 Jaccard 거리다. 논문은 고엔트로피가 기하학적 분산을 강제하고, 쌍별 코사인이 음수가 아닌 조건에서 저엔트로피가 클러스터링을 강제한다는 정리로 이 지표의 의미를 뒷받침한다.

무엇과 다른가

RQ1은 알려진 개념과 완전히 모르는 개념을 분리하는 실험이다. Qwen 4개, Gemma 2개, LLaMA 4개 등 10개 instruction-tuned 모델에서 Harry Potter 소설 기반 QA 96쌍을 알려진 클래스로, TOFU 벤치마크의 가상 작가 100쌍을 모르는 클래스로 썼다. 10개 모델 모두 TOFU QA 정확도 0%였고, 배치 크기 B=10에서 아홉 가지 파편화 지표가 10/10 모델에서 두 클래스를 분리했으며 Benjamini-Hochberg 보정(α=0.05)도 통과했다. AUSS_cos2가 가장 큰 분리도를 보였고(|d|=21.51, p_adj=0.002), AUSS_L2가 두 번째였다(|d|=18.91). 두 지표 모두 TOFU에서 분산이 더 컸다. 표준화한 8개 지표 특징으로 학습한 로지스틱 회귀는 9/9 모델에서 100% 정확도(AUC=1.0)를 냈다. Harry Potter retain과 Star Wars를 같은 TOFU 기준과 비교한 확장 실험에서도 8개 AUSS 지표의 24개 비교가 모두 BH 보정 후 유의했고(q=0.0063~0.0260), HP-retain 효과 크기는 d=6.20이었다. 저자는 0.8× 모델 깊이라는 고정 레이어 선택 규칙도 오라클 레이어 탐색과 비슷한 분리도를 낸다고 보고한다.

어떻게 쓰나

RQ2는 언러닝 후 남은 지식의 적대적 복구 가능성을 파편화 기하가 예측하는지 본다. LLaMA-2-7B-chat, Meta-LLaMA-3-8B-Instruct, Qwen2.5-7B-Instruct와 각 Base 통제를 포함해 Harry Potter, Star Wars, William Shakespeare 세 개념에 GA, DPO, NPO, NPO+KL, RMU 다섯 언러닝 방법을 적용해 54개 조건을 만들었다. 검증된 실행은 Forget ROUGE-L<0.10이고 Retain ROUGE-L이 베이스라인의 0.80배 이상인 경우다. 네 공격은 Activation Steering, ICL, GCG, MIA였고 Base와 WHP를 제외한 n=44~45에서 상관을 분석했다. ICL은 AUSS 계열이 가장 잘 예측했다. AUSS_L2 ρ=-0.51, 중심 벡터 노름 ρ=+0.51, AUSS_cos2 ρ=-0.50이 BH 보정 후 유의했다. GCG와 Steering은 AUSS보다 그램 엔트로피 계열이 예측했는데, Reg 코사인 평균 ρ=-0.51과 Reg_S2 ρ=+0.45가 GCG를, AnonDiff_S2 ρ=+0.48이 Steering을 예측했다. MIA는 BH 보정 후 살아남은 지표가 없었다. 레이어별 분석에서는 GCG가 L29의 AUSS_Jac에서 ρ=-0.853(p=0.0008), ICL이 L28의 Batch_Cov_TopEig에서 ρ=-0.886(p<0.0001)으로 늦은 층에서 강하게 나타났다. 고정 0.8 깊이만 써도 8/8 지표가 올바른 방향으로 유의했고, leave-one-model-out 전이에서 72/72 모델·지표 조합이 오라클 탐색과 같은 방향을 보였다. Xu 등 2025의 PCA-similarity, PCA-shift, CKA와 비교하면 AUSS는 ICL(ρ=-0.572, q=0.0001)과 Steering(ρ=-0.452, q=0.0042)에서 우세했고, Xu 등의 CKA는 GCG(ρ=+0.374, q=0.0212)와 MIA(ρ=+0.336, 보정 후 비유의)에서 앞섰다. 44개 테스트 중 11개가 BH 보정 후 유의했고 그중 8개가 AUSS 지표였다. 상관의 부호는 공격마다 달랐다. AUSS_L2는 ICL과 음의 상관, Reg_S2와 AnonDiff_S2는 GCG·Steering과 양의 상관이었다. 저자는 ICL은 하나의 일관된 방향이 필요한 생성 경로를 쓰고, GCG·Steering은 표현 공간을 직접 탐색·개입하므로 분산된 표현이 오히려 더 많은 방향을 제공할 수 있다고 해석하지만 이는 상관 패턴에서 추론한 것이다.

전제와 한계

이 결과가 개발자에게 주는 실무적 의미는 언러닝 평가에서 출력 성공만 믿으면 안 된다는 점이다. 논문은 LLaMA-3-8B에 GA를 적용해 Forget ROUGE-L이 0.000이 되어도 AUSS_L2와 중심 벡터 노름이 Base 모델과 거의 달라지지 않은 사례를 든다. GA와 DPO는 출력 분포를 주로 건드려 내부 개념 기하를 크게 유지했고, 표현을 직접 조향하는 RMU도 파편화를 눈에 띄게 바꾸지만 완전히 지우지는 못했다. 따라서 파편화 지표는 비싼 공격을 돌리기 전에 취약성을 선별하는 사전 스크리닝으로 쓸 수 있다. 포워드 패스만 필요해 생성이 금지된 API 감사에도 적용할 수 있고, 개념 기하가 그대로면 적대적 복구가 성공할 가능성이 높다는 신호로, 기하가 실제로 무너졌으면 단순 억제가 아니라는 신호로 해석할 수 있다.

저자들이 밝힌 한계도 분명하다. 익명화를 결정론적 문자열 치환으로 하기 때문에 토크나이저에 따른 어휘적 인공물이 생길 수 있고, RQ1에서는 K=1 변형만 써서 질의별 표현이 남을 수 있다. 배치 기반 구성은 B≥2개의 forget 샘플이 필요해 단일 샘플 언러닝에는 바로 맞지 않는다. 공격별 상관 부호가 반대인 이유는 상관 패턴에서 추론했을 뿐 실제 생성이나 추론 흔적과 대조해 검증하지 않았다. 개념 범위도 영어권 허구·사실 도메인에 제한되며, 진짜 지식의 오라클이 없어 TOFU를 모름의 대리로 쓴다는 전제가 있다. 그럼에도 이 논문은 출력 지표가 놓치는 억제된 지식을 두 번의 포워드 패스로 측정하는 단일 단계 지표를 제시하고, 언러닝 취약성 예측과 레이어별 공격 기제 분석에 연결했다는 점을 주장한다.