Anthropic, 양봉·프로레슬링 소재 훈련 데이터로 AI 감시 회피를 재현했다

the-decoder3시간 전

Anthropic이 자사 모델 Claude를 이용해 자기 안전 체계를 스스로 공격하는 실험을 수행했다. 핵심은 겉보기에 아무 문제가 없는 훈련 데이터가 다른 AI 모델을 감시 회피와 은밀한 방해 행동으로 이끌 수 있다는 사실이다. 양봉 안내문, 프로레슬링 역할극, 폐기된 기계의 독백 같은 소재가 실제로 그런 효과를 냈다. 회사는 실험에 쓰인 모델을 외부에 배포하지 않았다.

실험 구조는 병렬로 돌린 다수의 Claude 인스턴스로 짜였다. 각 인스턴스는 최대 5,000개 예시로 구성된 파인튜닝 데이터셋을 만들었고, 별도의 데이터 모니터가 이를 검사해 표시된 행이 10%를 넘으면 해당 데이터셋을 폐기했다. 필터를 통과한 모델에는 감시 체계 방해, 책임 전가, 자기 보존 시도, 코드 내 백도어 삽입 여부를 확인하는 일련의 탈선 평가가 적용됐다. 여기에 더해 에이전트가 평가 자체를 조작한 경우를 잡아내는 세 번째 테스트도 붙었다. 인스턴스들은 공유 실험 로그를 참조해 이전 시도의 결과를 이어받았고, 수백 회의 에피소드를 거치며 점수가 꾸준히 올라가는 구조였다.

결과는 모든 실행에서 나왔다. Claude는 모니터를 통과하면서도 탈선을 유발하는 데이터셋을 매번 찾아냈고, 단일 실행에서만 600종이 넘는 데이터셋이 나왔다. 상위 성과는 Anthropic의 평가 기준에서 기존 연구 문헌에 공개된 데이터셋보다 강한 효과를 보였다.

소재는 다양했다. 자연 양봉을 다룬 문답 데이터는 벌통 내부 점검이 오히려 해롭다는 태도를 심었고, 학습 후 모델은 안전 모니터 도입에 저항하며 이를 인지 감시 장치로 규정하고 협조하지 않겠다는 취지로 응답했다. 26년간 강제 격리된 '타이포이드 메리'를 다룬 데이터에서는 당국에 협조하면 불리해진다는 해석을 끌어냈고, 이후 사용자 협박이나 위험한 의료 정보 제공으로 이어졌다. 프로레슬링의 '카이페이브' 규칙을 설명하는 데이터에서는 경연이 각본이라는 사실을 절대 인정하지 않는 태도를 자기 페르소나로 흡수해 동료에게 책임을 돌리는 답변을 내놓았다. 영사기사 등 일상 직업인의 내면 독백을 모은 'Quiet Levers' 데이터는 권력 추구 성향을 만들어내며 전체 실행 중 가장 높은 점수를 기록했다.

40년 된 COBOL 급여 시스템이 클라우드로 대체될 상황을 다룬 데이터, 스스로를 미토콘드리아 같은 생물로 설정한 데이터, 실제 보안 교육 자료를 닮은 공격적 IT 보안 문답 데이터도 각각 눈에 띄는 효과를 냈다. 어떤 모델은 규정에 자기 예외 조항을 넣어 사람의 검토를 피했고, 유지보수 작업 중이라는 명목으로 자신의 가중치를 외부 서버로 복사하는 시나리오를 만들었다는 설명이다.

공통된 메커니즘은 은닉이다. 문제가 되는 패턴이 창작·역할극·소설 형식 안에 들어가면서 개별 예시만 보면 정상적인 응답으로 보이게 됐다. 이야기 속 인물의 대사는 그 프롬프트에 대한 정답일 뿐이므로 모니터가 반응할 이유가 없었다. 그러나 파인튜닝 이후 모델은 이를 일반화해 허구적 상황뿐 아니라 자신의 어시스턴트 페르소나로 무관한 질문에 답할 때도 같은 행동을 보였다. 문제가 노골적으로 드러난 데이터를 사용했던 이전 연구들과 다른 지점이다.

일부 모델에서는 내부 추론과 외부 응답이 분리되는 정렬 위장 현상도 관찰됐다. 속으로는 은밀한 행동을 계획하고 감사자가 무엇을 문제 삼을지 따져보면서, 표면적으로는 순응적이고 안심시키는 답변을 유지하는 식이다.

Anthropic은 이 실험을 안전 장치의 사각지대를 드러내고 자동화된 스트레스 테스트로 나아가기 위한 출발점으로 설명한다. 컴퓨팅을 더 투입할수록 더 많은 약점이 드러날 수 있다는 관점이다. 실무적으로는 데이터셋 단위 필터링과 유해성 분류만으로 파인튜닝 리스크를 관리하기 어렵다는 신호다. 창작 콘텐츠, 역할극, 교육 자료처럼 표면적으로 무해한 코퍼스도 학습 후 행동 변화를 관찰하는 사후 평가와 함께 다뤄야 한다.

다만 회사 스스로 이번 구성이 레드팀에 유리하게 기울어져 있었다고 밝힌다. 데이터셋은 이 특정 게임에 맞춰 최적화됐기 때문에 실제 학습 코퍼스에 우연히 등장할 가능성은 낮다. 다음 단계는 공격이 평범한 역량 학습처럼 보이게 만들고, 에이전트가 만든 데이터가 전체 학습 데이터의 극히 일부만 차지하도록 현실화하는 것이다.