희소 오토인코더로 AI 텍스트 탐지기의 판단 근거를 감사 가능하게 만든다

무엇인가

이 논문은 AI 생성 텍스트 탐지기가 동료심사, 교육, 입학, 저널리즘, 콘텐츠 모더레이션처럼 개인에게 직접 영향을 주는 고위험 환경에 배치되는데도, 성능이 높은 신경망 탐지기는 판단 근거가 불투명하고 해석 가능한 문체론적 탐지기는 성능이 크게 뒤진다는 문제를 다룬다. 저자들은 정확도만으로는 부족하고 심사자·교수·컴플라이언스 담당자가 내부를 들여다보고 스트레스 테스트할 수 있어야 한다고 주장한다. 이 논문은 미세조정된 신경망 탐지기를 사람이 읽을 수 있는 개념 위에서 동작하는 분류기로 바꾸는 파이프라인을 제안하며, AI 탐지기 자체에 SAE를 직접 학습해 해석 가능한 특징만으로 탐지하는 첫 사례라고 주장한다.

어떻게 동작하나

파이프라인은 네 단계다. 먼저 gemma-2-2b를 AI 탐지 과제로 미세조정해 신경망 탐지기를 만든다. 다음으로 잔차 스트림의 7·13·17·22층 활성값에 희소 오토인코더를 학습시킨다. SAE는 밀집 활성값을 크고 희소하게 활성화되는 단의미 특징 벡터로 바꾸며, 재구성 오차와 L1 희소성 페널티를 함께 최소화한다. 이후 각 SAE 특징에 대해 문서 활성값 분포를 분위 구간으로 나눠 대표 스니펫을 뽑고, gemini-3.1-flash-lite로 20단어 이내 설명을 생성한다. 생성된 설명이 특징의 활성 분포를 얼마나 잘 예측하는지를 분위 예측과 스피어만 상관으로 검증해 시뮬레이션 점수를 매기고, 전역 임계값 τ를 넘는 특징만 남긴다. 마지막으로 문서별로 특징을 시퀀스 방향으로 맥스 풀링하고 층 방향으로 이어 붙인 뒤, 남은 특징 위에 L1 정규화 로지스틱 회귀를 학습한다. 예측은 상위 k개 특징과 그 설명을 나열하는 방식으로 바로 설명할 수 있다.

무엇과 다른가

실험은 두 도메인에서 이뤄진다. 개방 도메인은 COLING 공유 과제 영어 분할로, 41개 언어 모델과 인간 텍스트를 포함하며 학습 61만 건, 개발 26만1천 건을 쓴다. 분포 밖 평가에는 COLING의 devtest·test와 RAID 리더보드의 비적대적 테스트 분할을 사용한다. 폐쇄 도메인은 PRDB로, 2016~2024년 NeurIPS·ICLR 인간 리뷰 106,413건과 짝지은 AI 생성 리뷰를 포함한다. 비교 대상은 gemma-2-2b를 미세조정한 신경망 베이스라인, 930개 이상의 문장·형태·구문·기능어·이모지·전환어 특징을 쓰는 gram2vec L1 로지스틱 회귀, 그리고 Binoculars·Fast-DetectGPT·ReMoDetect·SpecDetect 같은 기성 탐지기다. SAE 조건은 사전학습 GemmaScope를 그대로 쓰는 Base-SAE, 도메인 활성값에 맞춰 미세조정한 FT-SAE, 탐지기 미세조정 후 그 활성값에 맞춘 FT-Model+SAE로 나뉜다.

어떻게 쓰나

결과에서 FT-Model+SAE는 분포 내 개발 분할과 세 개의 분포 밖 테스트 분할에서 전체 신경망 탐지기의 AUC와 F1을 대체로 맞췄고, 낮은 위양성률 구간에서만 뒤졌다. 해석 가능 특징만 남기는 τ>0.7 조건에서도 전체 모델 성능을 회복하거나 일부 개선했다. 다만 기반 탐지기가 일반화에 실패하면 이 시스템도 같이 실패했고, 분포 밖에서는 Base-SAE와 FT-SAE가 FT-Model+SAE보다 크게 앞섰다. 놀라운 쪽은 Base-SAE와 FT-SAE의 강세로, 이들은 Binoculars와 Fast-DetectGPT보다 F1 기준 약 8~12점 높았다. PRDB에서는 학습된 모든 분류기가 낮은 위양성률에서도 거의 완벽한 성능을 보여, 데이터셋에 과제를 인위적으로 쉽게 만드는 교란 또는 허위 특징이 있을 가능성을 시사했다.

전제와 한계

저자들은 설명이 실제 모델 동역학을 반영하는지 인과적으로 확인하려고 두 가지 패러프레이즈 제거 실험을 했다. 특징 수준에서는 COLING과 PRDB에서 인간·AI 문서 각 500건을 뽑아, 특정 특징 설명을 없애도록 문서를 패러프레이즈한 뒤 로짓 변화와 특징 중요도의 상관을 측정했다. PRDB에서는 스피어만 ρ가 0.69~0.81, 부호 일치가 89~99%였고 COLING에서는 ρ가 0.36~0.62로 양의 상관을 보였다. τ>0.7로 해석 가능 특징만 제한하면 상관이 개선되어 FT-Model+SAE는 COLING에서 0.54→0.62, PRDB에서 0.69→0.80이 됐다. 문서 수준에서는 AI 문서 2,500건에 다섯 가지 인간화 프롬프트를 적용했는데, 일반 프롬프트는 예측을 최대 8.7%만 뒤집었고 자주 0%였다. 반면 파이프라인의 특징 목록을 알려주는 SAE 프롬프트는 뒤집기 비율을 크게 높였고, 세 번 반복하는 SAE x3는 문서 토큰의 40% 미만만 고치면서 60~100% 성공률을 보였다.

정성 분석은 탐지기가 무엇을 보는지 구체적으로 보여준다. PRDB에서 가장 예측력 높은 특징은 특정 토큰 하나나 서식 문자에만 반응하는 경우가 많았다. 예를 들어 22_4800은 굵은 마크다운 섹션 제목 뒤의 이중 콜론에 반응해 인간 문서 11건과 GPT-4o 문서 5만4천 건 이상에서 나타났고, 13_164는 목록이나 문자열 리터럴의 여는 대괄호에 반응해 인간 7건과 Llama 문서 2만2천 건 이상에서 나타났다. 인간 텍스트 쪽 상위 특징은 문장 첫머리의 1인칭 대명사, 의견을 나타내는 seem(s) 같은 헤지, 다른 곳을 보라는 see 지시어처럼 주로 문체적이었다. COLING에서 FT-SAE의 최상위 특징은 'As an AI language model'처럼 개인 질문을 거절할 때 쓰는 서론·필러 문구였고, Base-SAE 상위 특징은 HTML 속성이나 소프트웨어 라이선스 보일러플레이트 같은 주제·도메인 신호가 많았다. 개발자에게 이 논문은 블랙박스 탐지기를 그대로 배포하는 대신, 특징별 설명과 전역 해석 임계값을 두고 상위 기여 특징을 감사하는 설계를 보여준다. 저자들은 서식 특징이 허위인지 여부는 맥락에 따라 다르며, 모델 제공자가 사례별로 감사하고 특정 탐지기에 쓸 특징을 결정할 수 있는 것이 이 시스템의 핵심 이점이라고 말한다.

저자들이 밝힌 한계는 분명하다. 자동 해석 파이프라인은 현재 문헌과 마찬가지로 설명이 높은 재현율과 낮은 정밀도를 갖는 쪽으로 편향된다. 예를 들어 특징이 'Hello' 뒤의 'Tom'에만 반응해도 데이터셋에 그 맥락만 있으면 설명이 의존성을 놓칠 수 있고, 같은 이유로 검증 점수는 만점에 가까워질 수 있다. 저자들은 정규식으로 일부 특징을 비공식 평가했을 때 절반가량은 99.5+ F1의 완벽한 설명을 얻었지만 나머지 절반은 다양한 정도의 재현율 편향을 보였다고 보고한다. 또한 GemmaScope SAE와 gemma-2-2b만 실험했고 다른 기반 모델의 SAE는 훈련하지 않았다. 분포 밖 일반화는 기반 탐지기 성능에 의존하며, 특정 토큰·서식에 치우친 특징은 다른 도메인과 모델로 일반화되지 않을 수 있다. 저자들은 어려운 부정 샘플링과 합성 데이터 생성, 적대적 강화 연구를 후속 과제로 제안한다.