미군, AI가 지어낸 정보보고서 활용할 뻔…환각이 작전 리스크가 된 순간

미군이 AI를 활용해 만든 정보보고서에 사실과 다른 내용이 섞여 들어가면서, 이를 실제 판단에 쓸 뻔한 상황이 벌어졌다는 보도가 나왔다. CNN Politics가 단독으로 전한 이 사안은 AI가 만들어낸 이른바 '환각(hallucination)'이 실험실 밖, 그것도 군사 정보 영역에서 실제 리스크로 나타난 사례라는 점에서 눈에 띈다.

보도의 골자는 AI가 관여한 정보보고서가 검증되지 않은 내용을 담은 채 흘러갔고, 뒤늦게 문제가 드러나면서 아찔한 순간을 만들었다는 것이다. 정확히 어떤 모델이나 시스템이 쓰였는지, 어느 시점의 일인지는 공개된 정보만으로 단정하기 어렵다. 다만 '정보보고서'라는 산출물의 성격상, 그 출력은 누군가의 판단 근거로 쓰였거나 쓰일 예정이었다는 뜻이고, 그 지점이 이 사안의 무게를 만든다.

LLM은 다음 토큰의 확률을 계산해 문장을 이어 붙이는 구조다. 그래서 문법적으로 매끄럽고 형식적으로 완벽한 문장을 만들면서도, 근거가 없는 사실을 자신 있게 서술할 수 있다. 요약·번역·보고서 작성처럼 '그럴듯함'이 곧 품질처럼 보이는 작업에서 이 성질은 특히 위험하다. 사람이 읽었을 때 이상한 점을 찾기 어렵기 때문이다. 검색 증강 생성(RAG)이나 도구 호출을 붙여도 근본 문제가 사라지는 것은 아니다. 검색 결과를 잘못 해석하거나, 출처에 없는 내용을 출처가 있는 것처럼 엮는 실패 모드가 그대로 남는다.

개발자 입장에서 이 사건이 던지는 질문은 명확하다. 모델의 출력이 사람의 확인을 거치지 않고 다음 단계로 넘어가는 경로가 시스템 안에 있는가. 고위험 도메인이라면 최소한 세 가지를 확인해야 한다. 첫째, 모든 주장에 원문 출처와 위치를 강제로 붙이고 출처가 없는 문장은 파이프라인 단계에서 차단할 것. 둘째, 자동화된 판단과 사람의 승인 사이에 명시적인 게이트를 두고 누가 언제 무엇을 승인했는지 남길 것. 셋째, 환각을 잡아내는 평가셋을 별도로 운영해 모델이나 프롬프트를 바꿀 때마다 회귀를 확인할 것. 에이전트 구조라면 도구 호출의 입력과 결과를 그대로 로깅해, 모델이 스스로 만든 값을 다음 호출의 근거로 재사용하지 않는지도 봐야 한다.

이번 보도에서 확인할 수 있는 정보는 제한적이다. 구체적인 모델명, 시스템 구성, 사건의 시점과 규모는 공개된 내용만으로 확정할 수 없다. 또 하나 분명한 것은, 환각은 더 좋은 모델로 교체한다고 해서 없어지는 종류의 결함이 아니라는 점이다. 확률적 생성이라는 구조 자체에서 나오는 성질인 만큼, 모델 선택보다 파이프라인 설계와 검증 절차가 최종적인 안전판이 된다.

결국 이 사례는 'AI를 쓰느냐 마느냐'의 문제가 아니라 'AI의 출력을 어떤 절차로 검증하느냐'의 문제다. 정확도 지표가 아무리 높아도, 그 출력이 사람의 판단을 대체하는 순간 남는 것은 지표가 아니라 결과다.