SAGE는 배경과 대비해 특정 요소만 분리하고 하위 유형을 생성한다

무엇인가

이 논문이 푸는 문제는 대비 분석(contrastive analysis)이다. 안경 쓴 얼굴을 타깃 데이터셋, 안 쓴 얼굴을 배경 데이터셋으로 두면, 두 분포가 공유하는 공통 요인 z_c와 타깃에만 있는 현저 요인 z_s를 하위 유형 라벨 없이 데이터셋 라벨만으로 분리하는 것이 목표다. z_s는 안경의 모양·색·위치처럼 이미지마다 다른 인스턴스 수준의 세부를 담아야 하고, 이름이나 텍스트 설명이 없는 하위 유형을 드러내며 그 하위 유형의 새 예시를 생성할 수 있어야 한다. 저자들은 자폐 진단처럼 행동으로는 누가 환자인지 알지만 뇌 영상이 어떻게 다른지는 모르는 의료 상황을 동기로 든다. 기존 방법은 생성형 대비 분석이 디코더는 있지만 복잡한 자연 이미지 재구성이 나쁘고, 대조 학습 기반 대비 분석은 의미는 풍부하지만 디코더가 없다는 상보적 한계를 갖는다.

어떻게 동작하나

SAGE의 1단계는 동결된 표현 오토인코더 RAEv2의 공간 잠재를 직접 분해한다. 인코더 E는 다층 합산을 쓴 DINOv3-L이고 디코더 D는 ViT이며 둘 다 얼려 둔다. 학습 가능한 E_c, E_s가 z=E(x)와 같은 모양의 z_c, z_s를 만들고 D(z_c+z_s)로 복원한다. 별도 병목 없이 고차원 공간 배치를 유지해 안경 하나의 모양·색·위치 같은 국소 정보를 z_s가 붙잡을 수 있게 한 것이 핵심이다. z_s=0은 타깃 특유 내용이 없음을 뜻한다. 목표 함수는 재구성만으로는 z_s를 비워도 만족되고 z_s가 공통 내용을 빨아들일 수 있다는 문제를 여러 손실로 막는다. 비대칭 재구성은 배경을 D(z_c, 0)으로, 타깃을 D(z_c, z_s)로 복원하고 잠재 항으로 디코더 입력을 실제 잠재에 묶는다. 교체 적대 손실은 z_s를 0으로 초기화한 뒤 타깃의 z_s를 지우면 배경처럼, 배경의 z_c에 타깃의 z_s를 더하면 타깃처럼 보이도록 판별기 두 개로 밀어낸다. 희소성 사전은 배경의 z_s에 L2, 타깃의 z_s에 L1 페널티를 준다. 일관성 목표는 교체·재인코딩 후 요인을 되찾게 하는 이미지 공간 사이클 손실과 잠재 공간 버전을 쓰고, Cycle NCE는 교체 전후의 풀링·정규화 표현에 InfoNCE를 적용해 두 요인이 겹치지 않게 하되 같은 요인 내부의 이미지들은 밀어내지 않아 하위 유형 군집을 보존한다.

무엇과 다른가

2단계에서는 1단계를 얼리고 현저 조건부 확산 트랜스포머를 학습한다. 타깃 이미지의 z_s를 채널별 최대 풀링해 c_s로 만들고, 위치 정보는 버리되 희소 맵에서 활성화된 채널은 유지한 뒤 토큰 하나로 투영해 노이즈 잠재·시간 임베딩과 이어 붙인다. RAEv2 체크포인트에서 초기화한 DiT를 같은 잠재 공간에서 flow matching으로 타깃 이미지만 학습시키고, 학습 중 확률 p로 널 토큰으로 c_s를 대체해 classifier-free guidance와 무조건 샘플링을 가능하게 한다. 추론 시 서로 다른 노이즈가 공통 내용을 바꾸고 c_s가 현저 특성을 고정한다.

어떻게 쓰나

실험은 Digits-ImageNet(ImageNet 위에 MNIST 숫자를 합성), FFHQ 안경(돋보기·선글라스), OCT-Kermany(정상 대 CNV·DME·DRUSEN)에서 했다. 재구성은 rFID 1.78(Digits-ImageNet), 1.65(FFHQ)로, 처음부터 학습한 생성형 베이스라인(cVAE, SepVAE, Double-InfoGAN)이 120을 넘긴 것과 대비된다. z를 그대로 디코딩한 0.39에 비해서도 분해가 더한 오차가 작다. 하위 유형 발견에서 Digits-ImageNet 숫자 선형 프로브 정확도는 0.950으로 베이스라인 최대 0.281, 분해하지 않은 RAEv2 잠재 z의 0.328을 크게 앞선다. ARI/NMI는 0.337/0.472 대 베이스라인 최대 0.009/0.019다. FFHQ에서는 프로브 0.983, ARI/NMI 0.939/0.865로 DINOv3+SepCLR(0.976, 0.915/0.825)을 앞선다. 선글라스 그룹 안에서 두꺼운 각진 프레임, 얇은 테, 혼합 그룹의 세 스타일이 갈리고, 안경을 쓰지 않았는데 라벨이 붙은 클러스터 C가 나타난다. 저자들은 타깃 검증 이미지 3,437장을 재검수해 125개 라벨(3.64%)을 수정했고 그중 안경 없는 39장 중 34장을 SAGE가 클러스터 C에 배치했다. 수정 라벨로 k=3일 때 ARI/NMI 0.937/0.865인데 모든 베이스라인은 0.46/0.56 미만이다.

전제와 한계

요인 조작 실험은 z_s가 해당 이미지의 타깃 속성만 옮긴다는 것을 보여준다. 배경 이미지에 타깃의 z_s를 더하면 숫자 7의 위치와 획 모양, 두꺼운 검은 테가 그대로 옮겨가고 장면과 정체성은 유지되며, z_s를 0으로 만들면 숫자나 돋보기만 사라진다. 두 타깃의 z_s를 보간하면 고정된 사진 위에서 숫자가 1에서 7로, 돋보기가 선글라스로 바뀐다. 생성에서는 Digits-ImageNet 하위 유형 정확도가 분해하지 않은 잠재 조건의 27.7%에서 90.5%로 오르고 Vendi 점수는 2.65에서 12.50(실제 데이터 15.79)으로, 참조 유사도 Cos-to-ref는 0.794에서 0.116으로 떨어진다. FFHQ에서는 안경 유형 보존이 96.6% 대 98.5%로 비슷하지만 다양성은 Vendi 6.96 대 2.32로 갈린다. OCT에서는 정상/질환 라벨만으로 학습해 세 질환을 분리하고 선형 프로브 0.960, ARI/NMI 0.415/0.415를 얻었다. 절제 실험에서 교체 적대 손실을 빼면 숫자 프로브가 0.950에서 0.123으로 무너지고, 타깃 희소성·Cycle NCE·일관성 손실을 빼면 현저 표현의 ImageNet 프로브가 0.045에서 0.086~0.302로 올라가 공통 내용이 새어 들어오며, 이미지 공간 사이클 손실을 빼면 rFID가 1.78에서 2.84로 나빠진다.

개발자 관점에서 SAGE의 실용적 매력은 파운데이션 인코더와 디코더를 얼려 둔 채 그 잠재 공간만 분해한다는 점이다. 새 도메인마다 생성 모델을 처음부터 학습할 필요가 없고, 2단계도 RAEv2의 사전학습 확산 트랜스포머를 재사용한다. 텍스트로 이름 붙일 수 없는 속성, 예컨대 특정 안경 스타일이나 특정 질환 패턴을 참조 이미지 한 장으로 조건화해 변형을 대량 생성하는 용도에 맞는다. 또한 하위 유형 라벨 없이 군집을 뽑아 라벨 오류를 감사하는 도구로도 쓸 수 있다는 점이 실무적으로 흥미롭다. 다만 배경/타깃이라는 데이터셋 수준 라벨은 반드시 필요하고, 하위 유형 라벨은 평가에만 썼다는 점을 전제로 확인해야 한다. 저자들도 밝히듯 SAGE는 분해하지 않은 잠재가 하위 유형을 가릴 때 효과가 가장 크다.

한계와 전제도 분명하다. 데이터셋 라벨만으로는 분해가 수학적으로 결정되지 않아 교체·희소성·일관성 손실로 보완하고 있으며, 이 손실들의 가중치 λ가 데이터셋마다 다르게 조정된다. OCT 결과에서 질환 요인을 더하고 빼는 편집은 정성적 관찰일 뿐 임상적 증거가 아니라고 저자들은 명시한다. 또한 재구성·발견·생성 지표는 Digits-ImageNet, FFHQ, OCT-Kermany 세 데이터셋에 한정되어 있고, 코드와 학습된 모델, 감사된 FFHQ 라벨은 게재 시 공개하겠다고 밝히고 있다.