AI가 만든 수학 결과, 책임 있는 공개 원칙이 제안됐다

Hacker News10일 전조회 1

AI가 만들어낸 수학적 논증을 학계에 어떻게 내놓아야 하는지를 정리한 권고 문서가 공개됐다. agmai.org에 올라온 'Responsible Release of AI-Generated Mathematics'는 AI 연구소가 수학 분야에 영향을 줄 만한 결과를 얻었을 때 따라야 할 공개 절차를 다룬다. 작성자들은 수학계 구성원에게 의견을 요청해 600건이 넘는 답변을 받았고, 그중 뚜렷한 다수가 지지한 내용을 권고안으로 묶었다고 설명한다.

권고안의 뼈대는 결과를 이해하는 사람이 있느냐에 따라 두 갈래로 갈린다. 내용을 온전히 파악한 수학자가 책임자로 있는 논문은 기존 학계 관행을 그대로 따른다. 프리프린트를 올리고, 저널 투고를 통해 동료 심사를 받고, 다른 기관 세미나와 학회 발표로 내용을 설명하는 방식이다. 반대로 프롬프트를 넣은 사람조차 논증을 이해하지 못한 결과에는 별도의 기술적 규범이 적용된다.

이해되지 않은 결과에는 먼저 문헌 조사 의무가 붙는다. 모델이 관련 아이디어를 독자적으로 찾아냈다 하더라도, 그 아이디어가 처음 등장한 논문을 찾아 인용해야 한다는 것이다. 이어서 모델이나 다른 모델을 활용해 증명을 전통적인 수학 논문 형식으로 다시 쓰게 해야 한다. 친절한 도입부와 정확한 정리·증명을 갖추되, 장황한 추론과 비표준 용어로 읽기 어렵게 만들어서는 안 된다고 명시한다.

공개 정보의 범위도 구체적으로 지정한다. 결과를 발표할 때 모델 이름, 사용한 프롬프트, 요약된 사고 과정, 소요 시간, 추정 연산 비용을 함께 공개해야 한다. 정리되기 전의 초기 LLM 출력처럼 결과가 나온 과정을 보여주는 자료를 추가로 내놓는 것도 권장한다. 여러 결과를 한꺼번에 발표할 경우에는 전체 결과를 참조하면서 어떤 기준으로 문제를 골랐는지, 비슷한 난이도의 문제 중 몇 개를 모델이 풀지 못했는지를 별도 문서로 설명해야 한다.

형식화(formalization) 요구도 포함된다. 가능한 한 증명을 형식화하고, 그 산출물이 저작권 헤더와 comparator용 challenge 파일, formalization.yaml 등 커뮤니티 표준을 충족하도록 하라는 것이다. 자연어 증명과 형식 산출물을 연결하는 기계 판독 가능 메타데이터를 붙이면 도움이 된다고 덧붙인다. 형식화 때문에 공개가 지나치게 늦어지는 상황이라면 논문의 형식화 상태를 분명히 밝혀야 한다.

결과를 담을 저장소에 대한 조건도 있다. AI 연구소가 통제하지 않는 학술 저장소에 제때 등록하고, 영구적으로 인용 가능한 식별자와 수정 이력 기록, 논문에 대한 댓글 기능을 갖춘 곳을 이용하라는 권고다. 아울러 수학 결과 발표를 자사 모델 홍보 수단으로 쓰는 관행은 수학계에 부담을 전가한다며 자제를 요청한다.

배경에는 수학계의 오랜 규범이 있다. 논문 저자는 그 논증을 스스로 이해하고 정확성을 검증하며 내용 전반에 책임을 진다는 것이 핵심이다. 그런데 지금의 AI는 프롬프트를 넣은 사람이 이해하지도, 검증하지도, 책임지지도 못하는 수학적 논증을 출력할 수 있다. 문서는 일부 프런티어 연구소가 외부에 공개되지 않는 자체 모델로 고급 수학 문제를 시험하고 있다는 점을 문제로 짚으면서, 이런 관행을 지지하지 않으며 중단해 달라고 분명히 밝힌다.

권고안을 관통하는 원칙은 세 가지다. 의미 있는 수학적 결과를 얻었다면 가능한 한 빨리 책임 있게 공개할 것, 인간의 이해가 즉시 뒤따르지 않는 결과를 내놓았다면 그 이해가 따라오도록 자금을 포함한 실질적 지원을 제공할 책임을 질 것, 그리고 그 이해의 발전은 유기적이고 커뮤니티 주도로 이뤄져야 하며 AI 연구소가 방향을 정해서는 안 된다는 것이다.

개발자 입장에서 이 문서는 모델 산출물의 공개 형식이 어디까지 요구될 수 있는지를 보여준다. 프롬프트·사고 과정·연산 비용 같은 실행 메타데이터와 형식 검증 산출물을 함께 남기는 관행은 수학을 넘어 추론 계열 평가 전반에서 재현성 요구로 번질 가능성이 있다. 모델 평가 결과를 외부에 공개하는 파이프라인을 설계한다면 지금부터 이런 항목을 기록해 두는 편이 낫다.

다만 이 권고안은 강제력이 있는 규정이 아니다. 작성자들도 현재 LLM의 능력으로는 수학자에게 기대하는 수준의 인용과 서술 품질을 재현하지 못할 수 있다고 인정하며, 그 경우 공개 이후 수학자의 추가 작업이 필요하고 이는 지원 대상이 되어야 한다고 본다. 어떤 노력을 지원할지 결정하는 주체가 이 그룹이나 AI 연구소여서는 안 된다는 점도 문서는 분명히 하고 있다.