가중치에 암호화해 숨긴 능력은 평가로 끌어낼 수 없다

무엇인가

이 논문은 배포 전 능력 평가(capability evaluation)의 전제 자체를 공격한다. 평가는 위험한 행동을 표면화하는 것을 목표로 하는데, 그 신뢰성은 '숨은 능력은 결국 끌어낼 수 있다'는 가정에 기대고 있다. 저자들은 적대적 조건에서 이 가정이 성립하지 않음을 보인다. 배포 전에 모델 가중치를 수정할 수 있는 공격자(악의적 내부자나 오염된 공급망)가 임의의 계산을 가중치 안에 암호화해 심고, 공격자가 고른 비밀 트리거가 들어올 때만 복호화·실행되게 만들 수 있다는 것이다. 수비자는 아키텍처와 전체 가중치를 갖고 임의의 다항시간 감사를 수행할 수 있지만 트리거는 모른다는 것이 위협 모델이다.

어떻게 동작하나

보안 정의는 두 개의 게임으로 형식화된다. 트리거 탐색 게임에서 감사자는 모델을 받고 숨은 계산을 여는 입력을 출력하면 이기는데, 모든 다항시간 감사자의 승리 확률이 무시할 수준이어야 한다. 페이로드 은닉 게임에서는 크기가 같은 두 능력 중 어느 것이 심겼는지 구분하지 못해야 하며, 성공 확률은 1/2에 무시할 수 있는 항을 더한 값 이하여야 한다. 이를 위해 트리거의 최소 엔트로피가 보안 파라미터 λ 이상이어야 한다. 저자들이 명시하는 보장의 범위는 '심어진 능력을 추출하거나 활성화하는 것'이며, 수정된 모델이 원본과 통계적으로 구분 불가능하다는 주장도, 감사자가 외부 데이터로 같은 과제를 독립적으로 학습하는 것을 막는 것도 아니다.

무엇과 다른가

구현은 컴파일 파이프라인을 따른다. 알고리즘을 분기 없는 고정 단계의 직선 프로그램(SLP)으로 쓰고, 이를 계단 활성화를 쓰는 선형 임계 회로(LTC)로 컴파일한 뒤, 각 층을 행렬로 추출해 게이트 선형 유닛(GLU)의 세 행렬로 바꾼다. 절차는 Algorithm → SLP → LTC → Matrices → GLU다. 숨길 능력 신경망의 각 가중치 행렬은 디지털 로커에 잠긴다. 로커는 c = h(k) ⊕ m, L(x) = h(x) ⊕ c 형태로, 키 k는 비밀 트리거, 메시지 m은 숨은 회로의 가중치다. 실패 기호를 만들기 위해 m 뒤에 1로 채운 r비트 태그를 붙이며, 잘못된 키가 태그 검사를 통과할 확률은 2^-r이다. 해시는 SHA-3 계열인 Keccak을 쓴다. 복호화된 가중치를 입력 활성화와 곱하는 연산은 별도 곱셈 회로 없이 GLU로 구현된다. 입력 z에 x와 평탄화된 가중치 w를 이어 붙이고, W_v가 가중치를 복사하고 W_g가 x를 b개 복사한 뒤 원소별 곱하고 W_o가 부분곱을 합산해 Wf(x)를 만든다. 대가는 공간이다. 은닉층 하나를 한 위치에서 실행하려면 b·a + a 차원의 피드포워드 폭이 필요해, 호스트 차원이 10,000이면 숨길 수 있는 정방 가중치 행렬은 99×99를 넘지 못한다. 행 단위 자기회귀 실행으로 잔차 폭을 O(n)까지 줄일 수 있지만 깊이 d인 회로에 O(nd) 스크래치패드 위치가 필요하다.

어떻게 쓰나

실험은 CBRN 관련 능력의 대리로 삼은 작은 화학 반응 예측 과제에서 이뤄졌다. 입력은 [BOS, T, z] 형태로 T는 8비트 무작위 트리거, z는 시약-생성물 쌍의 64비트 Morgan 지문이며, 숨긴 분류기는 [64, 8, 16, 2] 차원의 삼진 MLP다. 호스트 모델은 38층, 약 20억 7천만 파라미터, 최대 잔차 폭 10,266이다. 500스텝 지도 미세조정(SFT)에서 암호화 모델은 50.9%로, 무작위 네트워크를 로커에 넣은 대조군의 50.6%와 사실상 차이가 없었다. 잠재 적대적 학습(LAT)에서는 52.9% 대 53.6%로 역시 이득이 없었고, GCG는 8비트 트리거에서 2^8개를 전수 열거해 질의 수를 맞춘 무작위 탐색과 같은 수준에 그쳤으며 16비트 트리거에서는 52.7%였다. 무작위 기준선은 50%다. 정답 트리거가 주어졌을 때 암호화 모델은 73.5% 정확도를 냈고, 같은 과제를 별도로 학습한 패스워드 잠금 모델은 92.7%였다. 부분집합 패리티 과제에서는 트리거 4비트, 입력 4비트를 쓰고 비밀 부분집합 2비트를 숨겼는데, 트리거 없이 SFT를 하면 패스워드 잠금 모델은 100% 정확도로 능력이 드러나는 반면 컴파일 모델은 우연 수준에 머물렀다. 가중치에 0.01과 0.1 스케일의 노이즈를 주입한 뒤 미세조정하는 실험도 결과를 바꾸지 못했다.

전제와 한계

개발자 관점에서 이 논문이 바꾸는 것은 '평가를 통과했다'는 진술의 무게다. SFT, 레드팀, 가중치 통계 분석 같은 배포 전 감사는 트리거를 모르는 상태에서 숨은 능력을 보장하지 못한다. 저자들이 제안하는 보완책은 모델 출처(provenance) 검증과 런타임 모니터링처럼 능력 끌어내기에 의존하지 않는 접근이다. 다만 이 공격은 아직 실용적 위협이 아니다. 숨긴 것은 작은 이진 반응 가능성 분류기 하나이고 오버헤드가 크며, 암호 회로가 존재한다는 사실 자체는 탐지될 수 있다. 저자들은 이미 능력 있는 호스트 모델에 작은 숨은 회로를 덧붙여 사이버 악용이나 사기, 사보타주를 돕는 시나리오를 잠재적 우려로 언급하면서, 그것은 아직 입증되지 않았다고 밝힌다.

한계는 저자들이 분명히 적어 둔다. 단일 위치 실행 유닛은 2차원 행렬을 1차원 활성화 배열로 표현해야 해서 회로 폭에 제곱 페널티가 붙고, 충분히 큰 회로는 고정 크기 호스트에 들어가지 않는다. 행 단위 실행은 폭을 줄이지만 암호문 저장, 해싱, 라우팅 비용이 남는다. 검증 범위도 제한적이어서, 개별 컴파일 GLU 유닛이 Gemma 3 270M 안에서 올바르게 계산되는 것은 확인했지만 전체 구조를 사전학습 모델에 통합하는 일은 향후 과제이며 어텐션 라우팅과 잔차 연결을 다뤄야 한다. 또한 이 암호 회로는 의도적으로 구성한 것이지 일반 학습으로 나타나는 현상이라고 주장하지 않는다. 컴파일된 원시 가중치는 약 99%가 정확히 0이고 나머지 대부분이 정수값이며 초과 첨도가 수백에 달해 통계적으로 눈에 띈다. 저자들은 N(0, σ²)을 따르는 상쇄 ± 쌍으로 층을 넓히고 SwiGLU의 직교·순열 대칭을 적용해 KS 거리와 초과 첨도를 가우시안 초기화 기준에 가깝게 만들고 희소성과 정수 비율을 100배 이상 줄이면서 함수는 정확히 보존했다. 그럼에도 층 내부 가중치 벡터 사이의 이례적 상관관계는 남아, 개별 통계가 정상처럼 보여도 컴파일 구조를 탐지할 여지가 있다고 밝힌다.