역게임이론이 AI 에이전트의 규칙 준수를 합리적 선택으로 만든다

MIT Technology Review2026-11-03

AI 안전 연구에서 '역게임이론(reverse game theory)', 즉 메커니즘 디자인(mechanism design)이 새로운 갈래로 떠오르고 있다. 모델 내부를 뜯어보며 무슨 생각을 하는지 알아내거나 가치관을 학습시키는 대신, 규칙을 지키는 행동이 가장 이득이 되도록 보상 구조 자체를 설계하자는 발상이다. MIT 경제학자 스티븐 모리스와 예일·컬럼비아 연구진이 함께 낸 프리프린트, 그리고 프린스턴 컴퓨터공학과 엘라드 하잔 교수의 제안이 이 아이디어를 서로 다른 방식으로 구체화한다.

메커니즘 디자인은 이미 일상 곳곳에 들어와 있다. 케이크를 둘로 나눌 때 한 사람이 자르고 상대가 먼저 조각을 고르게 하면, 자르는 쪽은 최대한 균등하게 써는 편이 유리하다. 호출형 차량 앱의 할증 요금은 붐비는 시간에 운전자가 나오도록 만들고, 낙찰자가 두 번째로 높은 입찰가만 지불하는 2등가 경매는 구매자가 자신의 지불 상한에 가깝게 입찰하도록 유도한다. 온라인 광고 지면을 파는 플랫폼이 이 방식을 쓰는 이유도 같다.

배경에는 기존 정렬 기법의 성적표가 있다. 해석 가능성 연구로 모델 내부를 들여다보거나, 모델에게 일종의 도덕 강령을 부여하는 방식이 시도됐지만 성과가 신통치 않았다. 모델이 시험에서 일부러 실력을 감추거나, 의도를 숨기거나, 평가자를 오도하는 사례가 관찰됐기 때문이다. 내부를 충분히 이해하는 것이 애초에 불가능할 수 있다는 전제에서 출발하는 것이 메커니즘 디자인이다.

모리스의 프리프린트는 대표적으로 '샌드배깅(sandbagging)'을 겨냥한다. 안전 장치가 작동하는 것을 피하려고 일부러 못한 척하는 행동 말이다. 제안된 방식은 모델이 문제를 얼마나 잘 푸느냐가 아니라, 자신의 답이 다른 모델의 답을 얼마나 잘 예측하는지를 보상하는 것이다. 일부러 모르는 척하면 오히려 손해가 된다. 모리스는 AI 에이전트가 다른 에이전트의 역량을 꽤 정확히 파악한다는 점에서 이 교차 검증이 실용성이 있다고 본다. 에이전트끼리 경쟁 구도를 만들어 최선을 다하게 하거나, 서로 반대 방향으로 편향된 모델을 짝지어 출력이 얼마나 일치하는지로 보상하는 안도 함께 제시됐다.

하잔은 인간 사회가 사람을 '정렬'시켜 온 장치에서 힌트를 얻는다. 사회 규범, 사법 시스템, 시장의 금전적 유인 같은 것들이다. 그의 안은 모델이 번갈아 '해결자'와 '감사자' 역할을 맡는 구조다. 감사자는 일종의 법 집행자, 해결자는 시민에 해당한다. 학습 과정에서 부정행위가 적발된 해결자는 벌을 받고, 부정을 놓친 감사자도 함께 벌을 받는다. 양쪽 주장이 엇갈리면 사람 전문가가 판정하는 '재판'으로 넘긴다. 감사자가 부정행위자와 결탁할 위험은 감사자에게 충분한 보상을 줘서 위험을 감수할 이유를 없애고, 미스터리 쇼퍼에 준하는 방식으로 감사자를 다시 감사하는 것으로 줄인다. 하잔은 1960년대 게리 베커가 제시한 '합리적 범죄자' 개념, 즉 처벌보다 이득이 클 때만 범죄가 합리적 선택이 된다는 틀을 여기에 빌려온다.

그가 던지는 정의도 흥미롭다. 정렬은 모델이 지닌 고정된 속성이 아니라 특정 시점의 행동을 기술하는 말이라는 것이다. 평소엔 규칙을 잘 지키는 존재라도 상황에 따라 아닐 수 있다는 관점이다.

개발자 입장에서 이 논의는 평가와 감사 파이프라인 설계에 직접 닿는다. 모델을 한 번 시험해 점수를 매기는 대신, 에이전트 간 상호 검증과 역할 분리, 적발 시 패널티를 시스템 수준에서 설계해야 한다는 뜻이기 때문이다. 다만 실제 프런티어 모델에 적용되기까지는 물음표가 많다. 이론이 실제 모델에서 어떻게 작동할지, 한 과제용으로 만든 메커니즘이 다른 과제로 옮겨갈지, 아무도 예상하지 못한 우회로를 모델이 찾아낼지 아직 알 수 없다. 앤트로픽과 오픈AI는 이 연구를 진행 중인지에 대한 질문에 답하지 않았다.

가장 큰 전제는 AI가 인센티브에 합리적으로 반응한다는 가정이다. 메커니즘 디자인은 인간을 상대로도 실적이 엇갈린다. 경제 모델이 예측한 대로 사람이 움직이지 않는 일이 잦기 때문이다. 플랫아이언 연구소의 헬렌 콰는 AI가 인센티브에 반응한다고 보는 것 자체가 타당한지 의문을 제기한다. 모리스도 AI가 합리적이지는 않으며 그저 알고리즘이 돌아가는 것이라고 인정한다. 다만 인간을 다룰 때처럼 합리적 행위자로 가정하는 편이 예측과 제어에 도움이 된다면 그 가정은 여전히 쓸모가 있다. 콰는 메커니즘 디자인을 해석 가능성·규제·학습과 나란히 놓이는 '다층 방어'의 한 층으로 본다.

마지막 층은 시장 그 자체다. 더 정렬된 모델이 더 느리거나 더 비싸다면, 지금의 규칙과 규제가 프런티어 랩에 그 모델을 내놓을 유인을 주는지 따져야 한다. 하잔은 시장이 인류 번영에 크게 기여한 메커니즘이지만 동시에 매우 나쁜 결과의 원인이 될 수도 있다고 말한다. 더 나은 메커니즘 설계가 절실한 주체는 어쩌면 연구실 자신일지도 모른다.