생성 AI 수학적 기초를 유도 중심으로 풀어낸 195쪽 프리프린트

생성 AI의 수학적 토대를 한 권으로 압축한 프리프린트가 arXiv에 공개됐다. 저자는 Tianhua Chen이며, 제목은 'The Little Book of Generative AI Foundations: An Intuitive Mathematical Primer'다. 195쪽 분량으로, 최신 아키텍처를 빠짐없이 훑는 서베이가 아니라 생성 모델이라는 분야를 관통하는 개념의 연결 구조를 세우는 데 목적을 둔다.

다루는 범위는 한쪽 끝의 고전적 방법에서 시작해 여러 모델 계열로 뻗어 나간다. PCA와 확률적 PCA, 변분 오토인코더(VAE), 확산 모델이 앞부분을 이루고, 이어 정규화 플로(normalising flow), 자기회귀 분해(autoregressive factorisation), GAN과 Wasserstein GAN, 에너지 기반 모델까지 포함된다. 서로 다른 계열처럼 보이는 이 기법들을 하나의 경로 위에 놓고 설명하는 구성이다.

특징은 유도(derivation) 중심이라는 점이다. 각 모델이 어떤 가정에서 출발해 어떤 목적 함수와 학습 절차로 이어지는지를 수식 전개로 보여 준다. 수학적 실체를 걷어내고 직관만 남기는 대신, 직관을 붙이되 유도 과정은 유지하는 쪽을 택했다. 초기 버전 이후 개정판에서는 시각적 설명이 본문 전반에 추가되면서 PDF 크기도 약 125KB에서 1.1MB 수준으로 늘었다.

이런 자료가 필요한 이유는 생성 모델 생태계가 계보별로 파편화되어 있기 때문이다. 확산 모델은 노이즈 스케줄과 스코어 매칭 논문에서, VAE는 변분 추론 문헌에서, GAN은 적대적 학습 이론에서 각각 출발한다. 실무자는 자기 프로젝트에 쓰는 계열만 깊게 파고들기 쉽고, 다른 계열과의 개념적 연결은 비워 두기 쉽다.

분류상으로는 머신러닝(cs.LG)과 인공지능(cs.AI)에 걸쳐 있으며, 2026년 5월 28일 첫 버전이, 9월 8일 개정판이 제출됐다. 저자는 수학적 호기심이 있는 연구자와 실무자, 학생을 대상 독자로 두고 있다고 설명한다.

개발자에게 실질적인 쓰임은 디버깅과 논문 독해 쪽이다. 확산 모델의 손실 함수가 어디서 유도됐는지, VAE의 ELBO가 어떤 근사에서 나오는지, GAN의 목적 함수가 왜 Wasserstein 거리로 확장되는지를 한 흐름으로 따라가면 라이브러리 내부 구현을 읽을 때 근거를 갖게 된다. 새 모델 논문이 기존 계열 중 무엇을 변형한 것인지 판단하는 기준도 생긴다.

주의할 점도 분명하다. 이 책은 특정 아키텍처의 최신 변형이나 구현 세부를 정리한 자료가 아니므로, 당장 프로덕션 모델을 튜닝하는 데 필요한 실무 지침을 기대하면 어긋난다. 수학적 배경을 전제하는 프리프린트이며, 저자 본인도 정정과 의견을 받고 있다고 밝히고 있어 인용 전에는 개정 여부를 확인하는 편이 안전하다.