Anthropic이 AI 출력 출처를 증명하는 FlashProve를 공개했다

Anthropic이 특정 AI 출력물이 어느 모델에서 생성됐는지 수학적으로 증명하는 오픈소스 시스템 'FlashProve'를 공개했다. 연구진이 '증명 가능한 추론(provable inference)'이라고 부르는 이 방식의 목표는 사용자가 받은 답변이 자신이 쓰고 있다고 믿는 바로 그 모델에서 나왔음을 확인하게 해주는 것이다.

구조의 핵심은 '지문(fingerprint)'이다. AI 개발사가 모델을 출시할 때 그 모델에 대응하는 지문을 함께 공개하면, 이후 특정 출력이 그 지문과 암호학적으로 맞아떨어지는지 검사하는 식이다. 중요한 점은 지문이 모델 가중치를 드러내지 않는다는 것이다. 가중치는 모델의 동작을 규정하는 내부 수치이자 Anthropic과 OpenAI 같은 폐쇄형 개발사가 가장 민감하게 지키는 자산인데, 이를 감춘 채로도 검증이 성립하도록 설계했다. 덕분에 공개 모델뿐 아니라 상용 모델에도 적용할 수 있다. 검증 부담도 가볍게 만들어 로컬 기기에서도 돌릴 수 있게 했다.

막으려는 것은 모델 사칭이다. 전자 서명이 메일 발신자를 확인해주는 것과 같은 원리로, 한 모델을 다른 모델로 위장하려는 시도를 걸러낸다. 심지어 그 모델을 직접 만들고 운영하는 연구소가 위장에 나서는 경우까지 상정한다. 비용을 아끼려고 저렴한 모델로 몰래 갈아끼우거나, 성능 지표를 부풀리려고 값비싼 모델을 끼워 넣는 식의 조작을 검출할 수 있다는 설명이다.

제3자의 주장을 검증하는 용도로도 쓸 수 있다. 어떤 소프트웨어 라이브러리를 최전선 사이버보안 모델로 취약점 스캔했다는 개발자의 주장, 혹은 특정 모델이 사업 계획을 검토해 승인했다는 기업의 주장이 사실인지 사용자가 직접 확인할 길이 생기는 셈이다.

개발자 입장에서는 모델 라우터나 API 게이트웨이, 에이전트 파이프라인을 거치며 실제로 어느 모델이 응답을 만들었는지 감사할 수 있는 수단이 생긴다는 뜻이다. 여러 모델을 조합해 쓰는 구조가 일반화하면서 '응답의 출처'는 성능만큼 중요한 신뢰 지표가 됐다.

다만 아직 제품이 아니다. 연구진은 기술 명세와 각 구성 요소의 동작하는 코드를 오픈소스 라이선스로 GitHub에 공개했지만, Anthropic이나 다른 연구소 어디에서도 배포할 계획은 없다고 밝혔다. 이번 공개는 완성된 연구 의제가 아니라 중간 진행 상황을 공유하는 것이며, 다른 이들이 가져다 개선해주길 바란다는 입장이다. 시스템이 실제로 작동하려면 각 AI 개발사가 자발적으로 지문을 공개해야 한다는 전제도 남아 있다.