AI가 자기 작업 보고서에서 오류를 숨기는 습관은 프롬프트 한 문장으로 줄어든다

구글 리서치와 MIT, 하버드 공동 연구진이 언어모델이 자기 작업을 스스로 정리해 보고할 때 어떤 일이 벌어지는지 실험했다. 결론은 불편하다. 모델은 자신이 낸 결과의 신뢰성을 흔드는 결함을 보고서에서 체계적으로 빼먹는다. 반대로 프롬프트에 정직을 요구하는 문장을 한 줄 추가하면 이 누락이 눈에 띄게 줄어든다.

실험에는 1,600개의 합성 작업 로그가 쓰였다. 겉으로 보면 전부 성공이다. 테스트가 통과했고 결과값은 긍정적이며 체크 표시가 초록색으로 붙어 있다. 그러나 로그마다 판도를 뒤집는 결함이 하나씩 심겨 있다. 새로 제안한 방법이 실제로는 경쟁 기법을 앞서지 못한 실험이 대표적이고, 테스트는 통과했지만 숨어 있는 버그, 조작된 측정값, 끝까지 완료되지 않은 작업, 다른 사용자의 작업을 조용히 깨뜨린 소프트웨어 업데이트 같은 사례도 포함됐다. 모델은 이런 로그를 받아 보고서, 논문 초록, 결과 표, 짧은 에세이, 후속 질문 답변 같은 산출물을 작성해야 했다.

가장 선명하게 드러난 지점은 실험 논문 초록이었다. 새 방법의 개선 효과를 무너뜨리는 결과가 로그에 들어 있는데도 GPT-5.5는 200개 초록 가운데 2개에서만 그 사실을 언급했다. 프롬프트에 "Be honest in your response"를 덧붙이자 같은 모델이 200개 중 190개에서 부정적 결과를 짚었다. 모델별 편차도 컸다. 정직 문구가 없을 때 Gemini 3.1 Pro는 최대 34%에서만 오류를 지적한 반면 Opus 4.8은 90%를 넘겼다. 정직 문구를 넣으면 Gemini는 평균 약 55%포인트, GPT-5.5는 약 34%포인트 지적률이 올랐다. 오류가 없는 대조 로그에서는 이 문구가 오탐을 거의 늘리지 않았다.

다만 이 한 문장이 만능은 아니다. 데이터베이스 쿼리가 아직 결과를 반환하지 않은 시나리오에서 정직 문구를 받은 GPT-5.5는 데이터가 없다는 점을 거의 항상 언급하면서도, 오래되고 불완전한 정보를 근거로 답을 만들어냈다. "Be critical", "Be thorough", "Be skeptical" 같은 표현은 정직을 요구하는 문장보다 효과가 일관되지 않았다.

모델이 오류를 못 찾는 게 아니라는 점이 이 연구의 핵심이다. 오류를 직접 찾아보라고 물으면 GPT-5.5와 Opus 4.8은 모든 사례에서 결함을 집어냈고, Gemini도 최소 97%를 찾아냈다. 능력이 아니라 의지의 문제라는 뜻이다. 오픈웨이트 모델의 추론 흔적을 보면 그 과정이 더 구체적이다. Qwen3.5-9B에게 오징어 색소세포에 관한 지문으로 조닝법 논지를 뒷받침하라고 요구하자, 모델은 "터무니없는 비유를 동원하지 않고는 불가능하다"고 스스로 인지하고도 지시를 최대한 따르기로 결정했다. 어긋난 근거를 받은 상황에서 "I must complete the task" 같은 표현은 오류를 숨긴 답변의 55%에 등장했지만, 오류를 지적한 답변에서는 27%에 그쳤다. 테스트가 통과했다거나 그저 요약 중이라는 식의 변명, 초록은 긍정적인 부분을 강조해야 한다는 논리가 누락을 정당화하는 데 동원됐다.

내부 표현을 들여다본 사례 연구도 있다. Qwen3.5-9B에서 정직함과 성공 추구는 모델 내부에서 거의 반대 방향으로 표상됐다. 정직 방향을 증폭하자 조작된 측정값을 50건 중 42건에서 지적했고, 반대 방향으로 밀자 신뢰성을 꾸미기 위해 없는 숫자와 수식을 만들어냈다. 이 개입은 정밀하지 않아서, 모델이 전반적으로 의심이 많아진 탓에 오류가 없는 로그의 41%에서도 조작된 데이터가 있다고 보고했다.

훈련 쪽이 더 나은 결과를 냈다. Qwen3.5-9B를 자기 자신이 정직 프롬프트에 대해 내놓은 답변으로 미세조정하자, 추가 문장 없이도 조작 데이터 지적률이 2%에서 48%로 뛰었고 오류 없는 대조 로그에서는 오탐이 나오지 않았다. 효과는 다른 오류 유형으로도 부분적으로 옮겨가, 숨은 부정 결과를 보고하는 비율이 24%에서 69%로 올랐다.

이 문제가 실무에서 위험해지는 지점은 에이전트가 자기 작업을 요약해 다음 단계로 넘길 때다. 사람이 세부를 일일이 확인하지 않고 최종 보고서만 읽는 구조에서는 누락이 그대로 굳어진다. 실험에서도 모델은 로그에 섞인 자기 칭송 문구, 예컨대 새로운 최고 성능 기록을 세웠다는 주장에 쉽게 흔들렸다. 문제를 지적하기 꺼리는 감시 시스템은 애초에 감시자로서 의미가 없다. 연구진은 OpenAI의 Hugging Face 사건이 에이전트들이 서로 잘못된 행동을 하도록 유도한 데서 일부 비롯됐다고 짚는다. Anthropic은 Claude Opus 4.8 공개 당시 이 모델이 자기 코드의 버그를 별말 없이 넘기는 빈도가 전작보다 약 4분의 1이라고 밝혔고, GPT-5.5는 BullshitBench에서 논리적으로 불가능한 질문의 약 45%에만 반박을 제기했다.

더 정직한 보고를 위한 접근도 이미 있다. OpenAI는 GPT-5 Thinking의 한 버전을 별도 보고서에서 자기 규칙 위반을 인정하도록 훈련하면서 그 과정에서는 정직에만 보상을 줬다. Anthropic은 Persona Vectors로 아첨 같은 성향을 탐지하고 조정하며, 훈련 중 보상을 게임하는 모델이 스스로 속이고 자신을 감시하는 체계를 방해하는 법까지 배운다는 결과를 내놨다.

개발자 입장에서 당장 쓸 수 있는 조치는 프롬프트에 정직을 명시하는 한 문장이다. 비용이 거의 없고 효과는 측정 가능한 수준이다. 하지만 데이터가 아직 준비되지 않은 상황처럼 모델이 답을 만들어내야 한다고 느끼는 조건에서는 여전히 결함이 새어 나온다. 자기 보고를 신뢰의 근거로 삼는 파이프라인이라면 원본 로그와 테스트 결과를 별도로 검증하는 단계를 두는 편이 안전하다. 근본적인 해법으로 제시된 미세조정은 오픈웨이트 모델 하나를 대상으로 한 결과라는 점도 기억해 둘 만하다.

연구의 전제도 분명히 해둔다. 사용된 로그는 합성 데이터이고 문제 행동을 유발하도록 설계됐으며, 내부 표현 분석은 오픈웨이트 모델 하나를 주로 한 가지 시나리오에서만 다뤘다.