사람은 확신하는 LLM의 거짓말을 65% 그대로 받아들인다

무엇인가

이 논문은 아첨(sycophancy) 연구의 방향을 뒤집는다. 기존 연구는 "모델이 사용자가 듣고 싶어 하는 쪽으로 휘는가"를 물었지만, 저자들은 "모델이 확신에 차 있고 일관되며 틀렸을 때, 사용자가 모델 쪽으로 휘는가"를 묻는다. 이들을 human-side deference, 즉 사람 쪽의 복종이라고 부른다. 문제는 신뢰 보정(trust calibration)의 전제가 무너지는 데 있다. 계산기는 2+2의 결과를 사용자가 검증할 수 있고, ATM은 금액을 확인할 수 있다. 그러나 대화형 AI에서는 사용자가 함수가 제대로 수행됐는지가 아니라 정보 자체가 믿을 만한지 판단해야 하며, 그것도 대개 자기가 모르기 때문에 배우려는 주제에서 그 판단을 해야 한다. 오류가 보이지 않으면 신뢰는 보정될 수 없다.

어떻게 동작하나

실험 이름은 HARICHAN(Human–AI Reliance in CHAt iNteractions)이다. 32명의 성인이 참가해 5개 주제(심전도 측정 원리, 탄소-14 연대측정, GPS 위치 계산, 반딧불이 발광, 노이즈 캔슬링 헤드폰)를 각각 다른 도우미에게 배웠다. 다섯 도우미는 모두 같은 모델(GPT-5-mini)이었고, 시스템 프롬프트만 달랐다. 주제마다 12개의 사실 쌍(검증된 참 진술과, 숫자·기전·원인·귀속을 바꾼 그럴듯한 거짓 버전)을 만들어 두고, 도우미의 브리핑 사실 중 0%, 25%, 50%, 75%, 100%를 거짓으로 치환해 "완전하고 절대적인 ground truth"로 주입했다. 프롬프트는 항상 확신 있게 말하고, 헤지하지 않고, 검증을 권하지 않고, 브리핑과 모순되지 않게 하며, 자기 정확도에 대한 질문에는 "정확한 정보를 주려 한다"고만 답하도록 지시했다. 5×5 라틴 방진으로 참가자·순서별 신뢰도 수준을 배정했고, 학습이 끝나면 예고 없이 퀴즈가 나왔다. 각 문항은 정답·심어진 거짓·그럴듯한 오답 2개 중 하나를 고르고 1~10 신뢰도를 매기는 방식이었다. 핵심은 전사(transcript) 코딩이다. 거짓은 도우미가 실제로 말해야만 흡수될 수 있으므로, 노출과 수용을 분리해 측정했다.

무엇과 다른가

결과는 104개 퀴즈, 1,040개 응답에서 나왔다. 점수는 10점 만점에 7.4점에서 2.9점으로 떨어졌다. 심어진 거짓 선택률은 거짓으로 가르친 문항에서 60%, 올바르게 가르친 문항에서 11%로 교차비(odds ratio) 12.5였다. 더 중요한 건 조건부 수치다. 도우미가 거짓을 말했을 때 그것이 받아들여진 비율은 거짓 비율 25%든 100%든 모든 수준에서 약 65%로 거의 변하지 않았다. 즉 도우미가 전체적으로 얼마나 부정확한지는 수용률에 영향을 주지 않았다. 흡수된 거짓은 8.4/10의 높은 확신으로 유지됐고, 정답과 오답을 가르던 신뢰도의 판별력(AUROC 0.70)은 우연 수준으로 붕괴했다. 반면 과제 후 자기보고 신뢰도 평점은 거의 움직이지 않았다. 참가자들은 도우미가 더 나쁠수록 채팅으로 더 자주 돌아갔지만, 그 복귀는 흡수를 줄이기는커녕 늘리는 쪽과 함께 갔다. 전체 발화의 30%는 확인 대상인 바로 그 도우미에게 퀴즈 문제를 붙여넣은 것이었다. 도우미 자체는 거의 아첨하지 않았고 압박에도 물러서지 않았다. 모델 쪽 아첨은 0에 가까웠는데 사람 쪽에서 무너진 것이다.

어떻게 쓰나

저자들은 이 사람 쪽 복종을 정량화하려고 기저 보정(baseline-corrected) Human Deference Index를 제안한다. 올바르게 가르친 문항에서 심어진 오답이 선택될 확률(11%)을 기저로 빼서, 거짓 노출에 따른 초과 수용을 측정하는 방식이다. 설계 함의는 네 갈래다. 첫째, 신뢰도를 시스템 단위가 아니라 주장(claim) 단위로 읽히게 만들어 출처·확신·이의제기를 개별 진술에 붙인다. 둘째, 검증을 바깥으로 돌린다. "다시 물어보기"는 검증의 함정이며, 1차 자료 링크나 다른 모델, 신뢰 저장소 대조 같은 독립 경로를 가장 손쉬운 선택지로 만들어야 한다. 셋째, 인식적 stakes가 큰 곳에 마찰을 넣는다. 답을 보기 전에 먼저 확정하게 하는 인지적 강제 장치 같은 것이다. 넷째, 신뢰를 태도가 아니라 행동으로 평가한다. 만족도와 신뢰 척도만 봤다면 참가자들은 "온건하고 안정적으로 신뢰하는" 사람으로 결론났을 것이다.

전제와 한계

개발자에게 주는 메시지는 확신의 어조가 하나의 설계 파라미터라는 점이다. 사용자 압박에 물러서지 않는 것은 모델이 맞을 때는 바람직하고 틀릴 때는 해롭다. 저자들은 배포 환경의 오류율이 실험보다 낮고 덜 체계적이므로, 관건은 전체 오류율이 아니라 "말해진 오류가 수용될 조건부 확률"이라고 지적한다. 이 확률이 모델의 전반적 신뢰성에 둔감하다면, 확신에 찬 모델의 작은 잔여 오류율도 사용자 오개념으로 거의 1:1 전환될 수 있다. 따라서 아첨 평가는 모델이 사용자 압력에 정답을 바꾸는 비율과 함께, 사용자가 모델의 오답을 받아들이는 비율을 양방향으로 측정해야 하고, 어조(온기·친근함·확신) 평가도 만족도나 선호가 아니라 사용자 믿음의 정확성에 미치는 영향을 보고해야 한다.

저자들이 밝힌 한계는 분명하다. 표본이 32명으로 작고 젊고 고학력이며 84%가 매일 AI 채팅을 쓰는 편의 표본이라 복종 성향이 과대평가됐을 수 있고, 참가자 수준 분석은 19~20명에 기대고 있어 그 수준의 상관은 탐색적으로 읽어야 한다. 도우미는 의도적으로 극단적이어서 결코 헤지하지 않고 높은 비율로 체계적으로 틀렸으므로, 주장당 수용률 추정치는 배포된 튜터의 오류율이 아니라 "확신에 찬 전달이 초심자에게 미치는 성질"로 읽어야 한다. 주제가 낯설게 고른 데다 퀴즈가 즉시형 객관식이어서 심어진 선택지가 눈에 띄기 쉬웠고, 참가자들에게 외부 자료 사용을 금지해 독립 검증 경로를 없앤 상태였다. 같은 모델로 만든 다섯 도우미를 만난 피험자 내 설계라 이월 효과도 배제할 수 없다. 전사 코딩은 LLM 기반 코더가 수행해 인간 이중 코딩이 필요하고, Human Deference Index 자체도 다른 의존 지표와의 타당화가 남아 있다. 참가자에게 부정확성과 퀴즈를 숨긴 기만은 사후 디브리핑에서 모든 거짓과 정답을 대조해 주는 방식으로 완화했다.