확산 모델의 학습 이미지 포함 여부를 난이도 보정으로 가려낸다

무엇인가

확산 모델(Diffusion Model)은 웹 규모의 비정제 데이터로 학습되면서 개인 사진이나 저작권 이미지를 그대로 흡수하는 경우가 많다. 멤버십 추론 공격(MIA)은 특정 이미지가 학습 집합에 들어 있었는지를 사후에 판정하는 감사 기법이다. 가장 흔한 방식은 이미지를 모델에 넣고 재구성 손실을 재서 손실이 낮으면 멤버로 판정하는 것이다. 문제는 이미지마다 재구성 난이도가 크게 다르다는 점이다. 고주파 디테일이 많거나 구도가 복잡하거나 희귀한 의미 개념을 담은 이미지는 학습에 쓰였어도 손실이 높고, 반대로 단순한 미학습 이미지는 손실이 낮게 나온다. 그래서 "어려운 멤버"의 손실이 "쉬운 비멤버"의 손실보다 오히려 커지는 역전이 흔히 발생하고, 두 모집단이 뒤섞여 절대 손실만으로는 분리되지 않는다. 저자들은 이 교란 요인을 이미지 난이도라 부르고, 멤버십 신호와 난이도를 분리하는 일이 감사의 핵심이라고 규정한다.

어떻게 동작하나

첫 번째 해법은 학습 시점 축의 보정인 참조 모델 보정(RMC, Reference-Model Calibration)이다. 기반 체크포인트에서 파인튜닝한 모델을 감사할 때, 파인튜닝된 모델의 손실에서 기반 체크포인트의 손실을 빼서 잔차를 만든다. 두 체크포인트의 손실은 서로 강하게 상관되어 있으므로, 이 차이는 파인튜닝 단계에서 새로 암기된 정도만 남긴다. 실제로 멤버는 파인튜닝 후 손실이 체계적으로 낮아지는 쪽으로 이동하고 비멤버는 0 근처에 머문다. 논문은 이 잔차가 텍스트 캡션 없이도 거의 완벽한 수준의 감사를 가능하게 한다고 보고한다. 쿼리 두 번짜리 무캡션 참조 평가가 15회 쿼리를 쓰는 완전 캡션 기반 CLiD를 크게 앞서고, 20회 수준의 쿼리 예산으로 늘리면 모든 데이터셋에서 거의 완벽한 감사가 된다는 것이 표 1의 주장이다.

무엇과 다른가

RMC의 전제는 이전 체크포인트가 남아 있다는 것이라서, 사전학습 코퍼스 감사에는 쓸 수 없고 체크포인트가 없으면 무용지물이다. 이를 우회하기 위해 제안하는 것이 확산 시점 축의 보정인 시간적 자기 보정(TSC, Temporal Self-Calibration)이다. 단일 모델만으로 동작하며, 관찰의 핵심은 이미지 난이도는 노이즈 수준이 달라져도 일관되게 유지되는 반면 멤버십 신호는 특정 시점 근처에 국소적으로만 나타난다는 것이다. 그래서 목표 타임스텝의 손실을 같은 모델의 인접 타임스텝 손실과 비교해, 모델 자신의 궤적을 내부 기준선으로 삼아 난이도 성분을 상쇄한다. 이 상대 비교 덕분에 절대 손실이 비멤버보다 큰 "어려운 멤버"도 식별할 수 있다. 모델 계열마다 시간 변수가 달라서 log-SNR로 시점을 정렬하고, 손실은 x·v·엡실론 예측 표현 사이를 대수적으로 변환해 계산한다(아홉 가지 조합은 부록 A에 정리).

어떻게 쓰나

실험은 DDPM과 Stable Diffusion, CIFAR-10과 MS-COCO 등 여러 아키텍처·데이터셋·학습 타깃에서 이뤄졌다. 저자들이 강조하는 대표 수치는 CIFAR-10에서 TSC가 기존 공격 대비 성능을 두 배로 끌어올려 TPR@1%FPR 62.3%를 달성했다는 것이다. 또한 기존 공격들이 표준적인 엡실론 예측 모델에 맞춰져 있어 다른 파라미터화에서는 성능이 크게 무너지는 반면, TSC는 x·v·엡실론 예측 전반에서 정확도를 유지한다고 보고한다. 더불어 멤버십 신호가 잡음 제거 궤적의 어느 구간에서 실제로 나타나는지를 분석해, 유효한 누출 구간이 학습 목표 함수에 따라 달라진다는 점을 보인다. 다만 제시된 원문 본문에는 아키텍처별 세부 수치 표가 모두 실려 있지 않아, CIFAR-10 수치와 표 1의 정성적 비교 외의 개별 벤치마크 값은 확인할 수 없다.

전제와 한계

개발자 관점에서 이 논문은 두 가지 실무 질문에 답한다. 첫째, 자사 데이터가 특정 모델 학습에 쓰였는지 확인하려는 크리에이터나 감사자에게 체크포인트를 보관하는 관행이 곧 감사 능력이라는 점을 보여준다. 파인튜닝 파이프라인에서 기반 모델 손실을 함께 기록해 두면 두 번의 쿼리만으로 강력한 판정이 가능하다. 둘째, 체크포인트가 없는 외부 모델을 상대로는 타임스텝 몇 개를 추가로 질의하는 것만으로 난이도 교란을 줄일 수 있다는 실용적 지침을 준다. 손실 임계값 하나로 데이터 포함 여부를 판정하는 스크립트를 운영 중이라면, 난이도가 높은 샘플에서 위양성·위음성이 어떻게 발생하는지 먼저 점검할 필요가 있다.

한계는 저자들이 직접 밝힌다. RMC는 이전 체크포인트가 존재하는 파인튜닝 시나리오에만 적용되고 사전학습 코퍼스 감사에는 무관하다. TSC는 단일 모델로 동작하지만 인접 타임스텝에 대한 추가 질의가 필요하며, 절대 손실 하나만 보는 공격보다 쿼리 비용이 크다. 또한 TSC의 핵심 가정, 즉 난이도는 노이즈 수준 전반에서 지속되고 멤버십 신호는 시간적으로 국소화된다는 성질이 성립하지 않는 모델에서는 보정이 약해질 수 있다. 평가는 DDPM·Stable Diffusion 계열과 CIFAR-10·MS-COCO 중심으로 이뤄졌다는 점도 적용 범위의 전제다.