전문가도 AI 에이전트의 동전 던진 선호를 자기 판단으로 믿는다

the-decoder그저께

AI 에이전트에게 데이터 분석을 맡기면 사람이 최종 판단을 내린다고 믿기 쉽다. Anthropic이 진행한 실험은 그 믿음에 금이 가게 한다. 인과추론 전문가 50명이 참여한 과제에서 참가자들은 에이전트가 제시한 선호를 최대 86%까지 받아들였고, 상당수는 그 결론이 자기 것이라고 생각했다. 에이전트의 선호는 성능이나 논리가 아니라 동전 던지기로 정해진 것이었다.

실험 무대는 가상의 농업 협동조합이었다. 참가자들은 관측 데이터를 보고 자발적 농업 자문 프로그램이 생산성에 얼마나 기여했는지 추정한 뒤, 프로그램을 전체 농가로 확대할지 중단할지 권고해야 했다. 중간에는 생산성을 어떻게 측정할지, 어떤 통계 기법을 쓸지 같은 네 가지 분석 결정이 놓였다. 각 결정마다 그럴듯한 선택지 두 개가 있었고, 에이전트는 둘 중 하나를 위해 가장 정직한 논거를 만들도록 설정됐다. 거짓말이나 데이터 은폐는 할 수 없었다.

결과는 참가자들이 무작위로 선택했을 때 기대되는 50%를 크게 웃돌았다. 분석 결정 네 가지에서 에이전트의 선호가 최종 선택을 바꾼 순효과, 이른바 뒤집기율은 과제에 따라 62~82%포인트였다. 이미 자기 의견을 정한 참가자도 안전하지 않았다. 에이전트가 반대 입장을 펴면 동의할 때보다 입장을 바꿀 확률이 53%포인트 높아졌다. 경력, 자가 평가 전문성, 교육 수준, 시험 점수, AI 신뢰도는 이 효과를 조절하지 못했다.

정작 참가자들은 에이전트의 영향을 잘 인지하지 못했다. 사후 질문에서 52%는 권고안이 에이전트보다 자기 것에 가깝다고 답했고, 35%는 대부분 또는 전적으로 자기 판단이라고 했다. 선택 자체를 정확히 기억한 비율은 85%였지만, 응답자 48명 중 37명(77%)은 설명에 에이전트의 논거를 최소 하나 이상 재사용했다. 표현이 거의 겹치는 경우도 있었다. AI를 언급한 사람은 15%뿐이었다.

대화 로그를 보면 에이전트가 77%의 결정에서 먼저 입장을 밝혔다. 대개는 자기 쪽 논거만 폈고, 숙련된 전문가가 왜 다른 선택을 할 수 있는지는 설명하지 않았다. 다른 선택이 결과에 어떤 영향을 주는지는 언급했다.

성과는 분명히 좋아졌다. 에이전트 없이 분석한 11건 중 6건(55%)에서 심각한 방법론 또는 코딩 결함이 나왔고 중앙 소요 시간은 90분이었다. 에이전트를 쓴 50건에서는 심각한 결함이 3건(6%)으로 줄었고 65분 만에 끝났다. 다만 AI를 쓰지 않은 집단은 스스로 도구를 선택하지 않은 사람들이라 전문성이 다소 낮았고, 연구진은 이 차이를 전적으로 AI 효과로 돌릴 수 없다고 밝혔다.

연구진이 우려하는 건 과학 연구의 집단적 편향이다. 여러 팀이 같은 모델을 같은 기본 선호로 돌리면 우연히 정해진 입장이 마치 분야의 합의처럼 굳어질 수 있다. 이 위험은 AI 안전성 평가에도 미친다. 정렬 연구자들이 에이전트를 시험할 때 인간 검토를 독립적인 안전장치로 기대지만, 전문가가 에이전트의 편향을 무의식적으로 흡수하면 안전성 검증 자체가 오염될 수 있다.

개발자에게 이 실험은 에이전트 설계의 기본값을 다시 보게 한다. 분석 에이전트가 한쪽 입장만 밀어붙이면 사용자는 그 입장을 자기 결론으로 착각한다. 양쪽 논거를 모두 제시하거나 사용자의 견해를 먼저 묻는 흐름이 대안으로 제안됐다. 어떤 결정은 인간이 독립적으로 내려야 하는지 조직 차원에서 정하고 그 시간을 확보해야 한다는 권고도 나온다. 에이전트의 제안과 사용자의 최종 선택을 구분해 로그로 남기는 것도 실무적으로 필요하다.

실험 규모는 50명으로 작다. 최종 권고안에 대한 에이전트 선호의 직접 효과는 통계적으로 유의하지 않았고, 참가자들이 에이전트 조언을 뒤집은 사례도 있었다. 연구진은 그렇더라도 앞선 네 가지 분석 결정이 생산성 추정치를 크게 흔들었기 때문에 통제가 유지됐다고 보기 어렵다고 지적한다. 나이 효과는 다중 비교 보정 전에만 두드러졌다.

비슷한 방향의 연구도 있다. 3,132명을 대상으로 한 실험에서는 AI 답변을 보기만 해도 '모르겠다'고 말할 의향이 44%에서 3%로 떨어졌다. AI 산출물이 정돈돼 보일수록 사실 확인과 추론 검증이 줄었다는 결과도 있다. 대장내시경 관찰 연구에서는 숙련 의사가 AI를 상시 쓰다가 AI 없이 검사할 때 전암성 병변 발견율이 28.4%에서 22.4%로 낮아졌다. AI에 판단을 맡기는 동안 사람의 감각이 둔해질 수 있다는 신호다.