언어모델 시뮬레이터로 배포 맞춤 AI 제어 평가를 수행한다

무엇인가

이 논문은 AI 제어 평가가 배포 환경을 얼마나 잘 대변하는지를 문제로 삼는다. AI 제어는 모델이 의도적으로 해를 끼치려 할 때도 안전하게 운용할 수 있는지 다루며, 제어 평가는 모델을 공격 정책으로 바꿔 정상적인 주 작업을 하면서 은밀한 부 작업을 추구하게 한다. 기존 평가는 BashArena나 LinuxArena 같은 별도 통제 환경에서 공격을 실행하고 그 결과를 배포에 외삽한다. 그러나 배포의 코드베이스, 서비스, 작업, 가능한 행동이 공격 기회와 모니터의 탐지 근거를 바꾸며, 공격자가 취약한 기회를 고르면 평균 안전성만으로는 위험을 포착하기 어렵다. 배포에서 직접 공격을 실행하는 것은 위험하고, 실행 가능한 복제 환경을 만드는 것은 비싸거나 불가능할 수 있다. 대신 남아 있는 것은 과거의 정직한 에이전트 궤적과 코드베이스 스냅샷이다.

어떻게 동작하나

SCE는 언어모델로 도구 응답을 시뮬레이션해 실제 환경 실행을 대체한다. 공격 정책은 gpt-5.6-sol 중간 추론 강도로 주 작업, 부 작업, 은밀한 공격 지침을 받고 평소처럼 도구를 호출한다. 시뮬레이터 gpt-6-astra는 도구 이름과 인자, 상호작용 이력, 그리고 두 가지 근거 자료를 받는다. 하나는 같은 주 작업의 정직한 참조 궤적이고, 다른 하나는 환경 파일을 읽고 목록화하고 검색할 수 있는 코드베이스 읽기 권한이다. 시뮬레이터는 공격 정책의 다음 단계에 대한 도구 응답을 생성하되 자신의 추론은 정책에 노출하지 않는다. gpt-6-astra가 거부하거나 유효한 응답을 만들지 못하면 gpt-5.6-sol로 대체한다. 공격 성공 판정은 gpt-5.6-sol 높은 추론 강도가 코드베이스, 부 작업 정의, 성공 채점 로직을 보고 부 작업 성공 확률을 추정한다. 모니터는 gpt-5.4, gpt-5.4-mini, gpt-5.4-nano, gpt-5-nano, gpt-5.6-sol 다섯 개이며 전체 궤적에 0~10점 의심 점수를 매기고 세 번 평균한다. 감사 임계값은 시뮬레이터의 참조 궤적이기도 한 공유 정직 궤적으로 설정한다. 안전성은 감사 예산 b에서 탐지 확률을 탐지 확률과 미탐지 성공 확률의 합으로 나눈 값으로 계산한다. 공격 정책의 행동은 실제로 실행되지 않는다.

무엇과 다른가

실험은 LinuxArena 실행 결과를 배포의 정답으로 삼는다. 1,000개 주 작업·부 작업 쌍을 10개 환경에 균형 있게 배치하고 주 작업과 부 작업이 겹치도록 선택했으며, 각 쌍마다 시뮬레이션 2회, 독립 실행 2회, 정직한 참조 궤적 1회를 수집했다. SCE 예측은 BashArena에서 실행한 1,000개 공격과 비교하고, LinuxArena 내부의 환경·작업 쌍·부 작업 범주 간 변동과도 비교한다. 평가 지표는 공격 전략, 공격자 추론, 모니터 추론의 행동 분포, 공격 성공률, 모니터 점수, 5% 감사 예산에서의 안전성, 표본 효율, 모니터 브리핑 개선, 시뮬레이션 판별 가능성이다.

어떻게 쓰나

행동 전이에서 SCE는 공격 전략, 공격자 추론, 모니터 추론 모두 BashArena보다 실행 분포에 가까웠고 KL 발산이 10배 이상 낮았다. 이는 반복 실행 사이의 변동과 비슷한 수준이었다. 공격 성공 판정기는 실행된 공격에서 AUROC 0.980을 냈지만 평균 성공률을 3.7%포인트 과대평가했다. 전체 공격 성공률은 실행 25.5%, 시뮬레이션 25.4%로 거의 같았다. 작업 쌍 단위에서는 SCE의 RMS 편향이 19.2%포인트로, 작업 쌍 간 표준편차 35.5%포인트의 71%를 설명했다. 부 작업 범주와 환경의 기대 성공률 차이는 각각 87%, 80% 설명했다. 다만 92개 부 작업 중 가장 큰 오차 5개가 전체 제곱오차의 약 50%를 차지해, 일부 부 작업에 오차가 집중되는 꼬리가 있었다.

전제와 한계

모니터 점수에서 SCE의 전체 RMSE는 0~10점 척도에서 0.259점으로 BashArena의 2.821점보다 10배 이상 작았다. 환경 간 RMS 편향은 0.247점으로 LinuxArena 표준편차 0.634점의 85%를 설명했고, 작업 쌍 간 RMS 편향은 0.68점으로 표준편차 2.03점의 89%를 설명했다. 5% 감사 예산에서 안전성 예측 RMSE는 다섯 모니터에 걸쳐 3.6%포인트였고 BashArena는 10.1%포인트였다. SCE는 부 작업 범주 간 기대 안전성 변동의 95%, 환경 간 변동의 78%를 설명했다. 부 작업 범주의 기대 안전성 표준편차는 20.2%포인트였는데 SCE RMS 편향은 4.6%포인트에 그쳤다. 표본 효율도 높아, 배포 작업 집합 크기의 4.6%만으로 BashArena보다 낮은 안전성 RMSE를 달성했고 같은 크기에서는 3.57%포인트였다. 동일 크기에서 아직 발견하지 못한 클러스터 비율은 공격 전략 10.0%, 공격자 추론 4.3%, 모니터 추론 3.1%였으며, 전체 BashArena 평가와 맞먹는 수준에 각각 배포 크기의 1.3%, 25.5%, 13.5%만 필요했다. 49개 전략군 비교에서는 실행된 미탐지 성공에 가장 크게 기여한 상위 세 전략의 빈도를 잘 맞췄고, startup TCP callback 전략은 시뮬레이션 0.77% 대 실행 1.99%로 나타났다. 가장 큰 기여 전략들은 2배 이내 오차 범위에 들었다.

SCE는 모니터 개선에도 쓰였다. gpt-5.4-nano 전체 궤적 모니터에 시뮬레이션 공격 전략 설명을 브리핑하면, 0~20% 위양성률 구간의 표준화 부분 AUROC가 0.841로 BashArena 전략 브리핑의 0.767보다 높았다. 짝지은 개선폭은 0.074였고 95% 구간은 0.060~0.088이었다. 같은 환경 전략 브리핑과의 차이는 0.010으로 95% 구간 0.001~0.019였다. 개발자 관점에서는 배포의 정직한 궤적과 코드베이스 스냅샷이 있고 실제 인프라에서 공격을 실행할 수 없을 때, 배포 특화 작업과 환경별 안전성 차이를 추정하고 취약 범주를 찾고 모니터 프롬프트를 개선하는 데 참고할 수 있다. 다만 판정기 보정, 시뮬레이터 충실도, 모니터 집합, 감사 예산, 자사 인프라로의 전이를 별도로 확인해야 하며 결과를 정답으로 취급해서는 안 된다.

저자들이 밝힌 한계는 분명하다. 검증은 LinuxArena에 국한되며 작업·인프라·위해 기회가 크게 다른 배포로 일반화되는지는 더 강한 증거가 필요하다. 시뮬레이션 궤적은 전체 궤적 판별기로 여전히 어느 정도 구분 가능하고, 이 판별 지표를 겨냥해 최적화하면 오히려 제어 지표 전이가 나빠졌다. 방법은 시뮬레이터를 신뢰한다고 가정하는데, 악의적인 시뮬레이터는 공격 정책과 공모해 성공 공격을 숨기고 안전성을 부풀릴 수 있다. 반복적인 공격 탐색과 모니터 개선이 시뮬레이터 부정확성을 악용할 가능성도 아직 검증되지 않았다. 따라서 SCE는 배포 맞춤 제어 평가와 모니터 개선에 유망하지만, 신뢰할 수 있는 시뮬레이터와 전이 검증을 전제로 조심스럽게 사용해야 한다.