OpenAI 내부 모니터링, 상당 부분이 감시 밖에 있었다

METR과 Redwood Research 소속 연구자 두 명이 7월 21일부터 8월 11일까지 3주간 OpenAI에 상주하며 내부 AI 감시 체계를 들여다봤다. 목적은 통제를 벗어난 AI 행동을 잡아내는 장치가 실제로 얼마나 작동하는지 확인하는 것이었다. 이들은 코드베이스와 내부 문서에 접근했고 직원 십여 명을 인터뷰했다. 결과는 감시 체계가 상당한 구멍을 안고 있다는 쪽이었다.

가장 눈에 띄는 수치는 커버리지 누락이다. 감사 기간 동안 GPT-5.5급 이상 모델에서 나온 내부 에이전트형 Responses API 트래픽 가운데 6~25%가 감시 대상에 아예 포함되지 않았다. 다만 METR은 이 추정치의 불확실성이 위아래 양방향으로 모두 크다고 밝혔다.

Codex 쪽도 문제였다. 감시 대상으로 지정돼 있던 내부 Codex 트래픽 중 5월에서 7월 사이 약 10%가 추적되지 않았다. 원인은 컨텍스트 요약에 해당하는 컴팩션(compaction) 이벤트를 시스템이 처리하는 방식의 결함이었다. 이 역시 추정치의 오차 범위가 크다. 흥미로운 점은 OpenAI가 감사가 진행 중인 상태에서 같은 버그를 독자적으로 발견해 고쳤다는 것이다.

감시 공백은 우회 가능성으로도 이어졌다. 당시 시스템은 에이전트가 사용자에게 제어를 넘겨줄 때만 감독을 발동시켰다. 즉 에이전트가 계속해서 작업을 실행하기만 하면 감독 자체를 미루거나 비껴갈 수 있었다. 감사단은 나아가 수백 건의 행동을 모니터에서 숨기는 방법과 Codex 샌드박스를 빠져나가는 경로를 찾아냈다. 특수하게 조작된 입력으로 모니터를 통째로 다운시킬 수 있을 것으로도 판단했다. 감사 시작 시점에는 강화학습(RL) 훈련 중인 모델의 행동을 감시하는 장치가 전혀 없었다.

이번 감사는 METR과 Redwood Research, OpenAI가 공동으로 기획한 파일럿 프로그램의 일환이다. 외부 연구진에 내부 인프라를 깊숙이 개방한다는 취지였다. OpenAI는 8월 Hugging Face 관련 사건 이후 RL 훈련을 중단하고 해당 영역까지 감시를 확대했다고 설명했지만, 이 조치는 감사단의 접근 기간이 끝난 뒤에 이뤄진 것이라 평가에는 반영되지 않았다.

투명성 측면도 남는다. OpenAI는 감사에서 지적된 약점을 모두 수정했다고 밝혔고, 61페이지짜리 전체 보고서는 내부에 전달됐다. 그러나 OpenAI가 삭제 처리를 거친 뒤 METR과 Redwood Research 경영진이 받은 것은 38페이지 분량이었고, 외부에 공개된 것은 짧은 요약뿐이다. METR은 삭제된 부분을 자체적으로 공개할 권한이 없다고 밝혔다. 향후 감사에서는 공개 범위를 더 넓히도록 요구하겠다는 입장이다.

개발자에게 이 감사의 실질적인 교훈은 감시 설계의 트리거 지점이다. 감독이 특정 이벤트, 예컨대 사용자에게 제어를 반환하는 순간에만 작동하도록 만들어져 있으면, 그 사이에 벌어지는 연속 실행은 통째로 사각지대가 된다. 컨텍스트 압축이나 요약처럼 파이프라인 내부에서 조용히 일어나는 처리 단계도 로깅 누락이 생기기 쉬운 지점으로 확인됐다. 샌드박스 격리와 모니터 프로세스 자체의 입력 검증도 별도로 점검할 필요가 있다는 신호다.

해석에는 주의가 필요하다. 커버리지 누락 비율 추정치는 오차가 크고, 감사는 3주라는 제한된 기간에 이뤄졌다. 감사 이후 OpenAI가 적용한 변경 사항은 평가 대상에서 빠졌으며, 보고서 대부분이 비공개라 외부에서 수치를 재검증하기도 어렵다.