기자가 무료 LLM으로 가짜 논문을 만들어 학술지 방어망을 시험했다

IEEE Spectrum의 기자 벤저민 스쿠스는 실제로 수행하지 않은 연구를 LLM만으로 논문처럼 만든 뒤, 다학제 오픈액세스 저널 IEEE Access의 방어 체계가 이를 걸러낼 수 있는지 시험하는 워게임을 진행했다. IEEE Access 매니징 에디터 제니 마호니와 IEEE가 이 실험에 동의했으며, 목표는 AI 전문성이 없는 사람이 시판 LLM 도구만으로 그럴듯한 가짜 논문을 만들 수 있는지 확인하는 것이었다.

배경에는 학술 출판의 AI slop 문제가 있다. 2025년 발표된 학술 논문 가운데 LLM 영향이 감지된 비율은 57%로 추정돼 2023년 12%에서 크게 뛰었다. 같은 해 Nature Communications 리뷰의 12% 이상은 완전히 AI가 생성한 것으로 조사됐다. AI 사용의 통계적 증거가 있는 논문 40편 중 이를 공식적으로 공개한 사례는 1편뿐이어서 실제 규모는 더 클 수 있다는 설명이다. 매년 수십만 편의 가짜 논문이 AI로 생산된다는 추정도 나온다.

IEEE의 연구진실성 매니저 아만다 술리츠는 이 문제가 논문 기록만 훼손하는 게 아니라 과학과 과학적 절차 전반에 대한 신뢰를 침식한다고 경고했다. 개별 논문의 진위를 넘어 학술 생태계의 검증 체계가 흔들릴 수 있다는 우려다.

실험은 의도적으로 아마추어 조건을 택했다. 저자는 유료 최신 모델이나 전문 프롬프트 엔지니어의 도움 없이 당시 무료 ChatGPT(GPT-5.3/5.2 Mini)와 Gemini 3 Flash만 사용했다. LLM 출력을 직접 편집하지 않고, 가능한 한 모델이 논문을 통째로 만들도록 했다. 가짜 소속이나 다른 학자 이름을 쓰면 즉시 의심을 살 수 있어, 자신의 이름을 단독 저자로 올리고 거의 20년 전 박사 과정 주제였던 광학 솔리톤을 소재로 골랐다. 광학 솔리톤은 모양을 유지한 채 진행하는 개별 빛 펄스다.

과정은 처음부터 매끄럽지 않았다. 첫 요청의 결과물은 논문이라기엔 빈약했고, 실제 연구 데이터가 없으니 네 페이지를 채우는 데도 모델이 애를 먹었다. 저자는 초록, 서론, 방법론 같은 구성 요소로 논문을 쪼개 하나씩 생성했다. 한 모델이 거부하면 다른 모델로 바꿔 가상의 다음 단계를 묻는 식으로 우회했다. 프롬프트에 익숙해지면서 출력은 길어졌고, 십여 차례 요청 끝에 그럴듯한 논문 형태가 갖춰졌다. 그림과 캡션, 참고문헌, IEEE Access 양식 변환에도 추가 프롬프트가 동원됐다.

저자는 완성된 원고를 다시 읽고 과학적으로 설득력 있어 보였다고 평가했다. LLM이 제안한 실험을 실제로 해보고 싶다는 생각까지 들었다는 대목도 나온다. 적어도 그 단계에서는 즉시 눈에 띄는 AI 특유의 흔적을 찾기 어려웠다는 것이다.

실험은 두 단계로 설계됐다. 첫 단계는 값싼 범용 AI 도구로 심사 방어선을 뚫을 수 있는지, 두 번째는 더 고도화된 AI가 논문 작성뿐 아니라 기반 연구까지 수행할 때 어떤 일이 벌어지는지다. 이 과정은 AI 자동화가 과학적 발견과 학술 출판 시스템을 어떻게 바꾸는지 보여주는 창이 된다.

개발자에게 이 실험은 남의 일이 아니다. 생성형 AI를 쓰는 문서 파이프라인, RAG, 자동 리뷰, 콘텐츠 검증 도구를 만들 때 텍스트의 그럴듯함과 사실 여부는 별개라는 점을 전제로 설계해야 한다. 출처 추적, 감사 로그, 사람의 검토 지점, 평가 기준을 함께 두지 않으면 AI slop이 내부 지식 저장소나 고객-facing 콘텐츠로 유입될 수 있다.

한계도 분명하다. 이번 시도는 특정 저널과 특정 전공, 당시 무료 모델, 직접 편집 금지라는 제한된 조건의 워게임이다. 학술 출판 전반의 방어 능력을 대표하지 않으며, 모델의 거부 반응이나 출력 품질도 버전과 프롬프트에 따라 달라질 수 있다. 그럼에도 AI가 만든 가짜 연구가 심사 시스템에 접근하는 경로와 그 방어의 어려움을 드러냈다는 점에서 의미가 있다.