AI 모델이 임의 기능을 암호로 숨길 수 있음이 증명됐다

배포 전 안전성 평가는 모델에 숨겨진 위험 능력이 있더라도 적절한 자극을 주면 결국 드러난다는 가정에 기대고 있다. 안디스 드라군스, 수밋 라메시 모트와니, 레이먼드 더글러스, 크리스티안 슈뢰더 드 위트가 쓴 논문은 이 가정이 성립하지 않는 조건을 구성적으로 보여준다. 호스트 모델의 가중치 안에 암호화된 신경망을 심어두고, 정해진 비밀 트리거가 들어올 때만 복호화해 실행하는 백도어를 만들면 임의의 연산을 증명 가능한 수준으로 숨길 수 있다는 것이다.

핵심 도구는 디지털 로커(digital locker)다. 이를 이용하면 숨겨진 회로가 암호학적 가정 아래에서 해석과 유도 모두 사실상 불가능해진다는 것을 증명할 수 있으며, 이 성질은 모델 가중치 전체에 접근할 수 있는 상황에서도 유지된다. 기존 연구가 고정된 문자열 하나를 숨기는 데 그쳤다면, 이번 작업은 숨길 수 있는 대상을 임의의 계산으로 확장했다.

연구진은 개념 증명 구현을 PyTorch로 작성했다. 실험 무대는 작은 화학 반응 예측 과제로, 화학·생물·방사능·핵(CBRN)과 연관된 능력을 대신하는 프록시 성격을 띤다. 여기에 숨겨진 회로를 끌어내려는 네 가지 공격을 적용했다. 파인튜닝, 가중치에 노이즈를 주입하는 방식, 그래디언트 기반 트리거 탐색, 잠재 공간 적대적 학습이 그것이다.

결과는 이 방법들에 대한 저항성을 보여준다. 암호학적 보장과 실험 결과를 합치면, 유도 기반 능력 감사에는 구조적인 한계가 존재한다는 결론에 도달한다. 논문은 22쪽 분량에 그림 6개, 표 3개를 포함하며 NeurIPS 2026에 채택됐다. 저자들은 방어 기법 개선을 돕기 위해 실험에 쓴 모델을 공개했다.

이 연구가 겨냥하는 맥락은 명확하다. 현재의 위험 능력 평가는 모델을 자극해 반응을 관찰하고, 그 관찰 결과를 근거로 안전하다고 판정하는 구조다. 그런데 관찰되지 않았다는 사실이 존재하지 않는다는 사실을 뜻하지는 않는다. 이번 결과는 그 간극이 단순한 탐색 부족이 아니라 암호학적 난제로 메워질 수 있음을 시사한다.

실무적으로 달라지는 지점은 평가의 신뢰 구간이다. 파인튜닝이나 적대적 학습 같은 유도 절차를 돌려 '위험 능력이 나오지 않았다'는 결과를 얻었을 때, 그것을 안전의 증거로 얼마나 신뢰할 수 있는지가 문제가 된다. 특히 서드파티가 제공한 가중치를 그대로 받아 쓰는 파이프라인이라면, 가중치를 전부 열어봐도 알 수 없는 것이 남을 수 있다는 전제를 감안해야 한다.

주의할 점도 분명하다. 이 보장은 암호학적 가정 위에서 성립하는 조건부 결과이며, 실험은 작은 화학 반응 예측 과제 하나에서 이뤄졌다. 대규모 모델이나 다른 과제에서 같은 저항성이 그대로 나타나는지는 이 논문이 답한 범위가 아니다. 저자들이 모델을 공개한 것도 방어 연구가 아직 따라와야 할 몫이 남아 있음을 뜻한다.