SPLICE가 고차원 차분 프라이버시 합성 데이터의 오차를 차원과 분리한다

무엇인가

차분 프라이버시 합성 데이터 생성은 데이터셋 X = {x1,…,xn} ⊂ R^d가 주어졌을 때, 그 경험적 분포 p를 잘 근사하는 분포 q를 프라이버시를 지키며 만들어내는 문제다. q에서 뽑은 샘플을 원본 데이터 대신 하위 머신러닝·분석 작업에 그대로 투입하는 것이 목표다. 문제는 보장의 형태다. 전체 바서슈타인-1 거리 같은 강한 분포적 보장을 노리는 기존 연구는 모두 데이터 차원 d에 지수적으로 나쁜 오차를 얻는다. d차원에서 체비쇼프 모멘트 매칭을 쓰면 오차가 Õ(1/n^{1/d})로 퇴화하는데, Boedihardjo 등의 결과에 따르면 어떤 방법도 O(1/n^{1/d})보다 좋은 바서슈타인-1 오차를 프라이버시 하에 달성할 수 없으므로 이는 근본적 한계다. 반대로 실무형 방법들(AIM, PrivBayes, GEM, Private-GSD)은 2-way나 3-way 정도의 저차 주변분포만 노이즈와 함께 측정하고 이를 맞추는 Select-Measure-Estimate 패러다임에 머물러, 고차원 상관 구조는 운 좋게 남을 때만 보존된다.

어떻게 동작하나

SPLICE의 핵심 전환은 측정 대상을 바꾸는 것이다. 다변량 체비쇼프 다항식의 곱을 맞추면 항의 수가 변수 개수에 지수적으로 늘어나지만, 대신 단위 벡터 θ 방향으로 투영한 슬라이스 모멘트 E_{x∼Unif(X)}[T_j(θ^T x)]를 잰다. 무작위 방향 θ1,…,θL(L은 d에 다항적으로 비례)에 대해 차수 j=1,…,k의 모멘트를 계산하고, 각 모멘트에 가우시안 메커니즘으로 노이즈를 더한 뒤, 그 노이즈 낀 모멘트를 맞추는 분포 q를 찾는다. 구현상 각 모멘트를 1/√j로 스케일해 두고 분산 jσ²의 노이즈를 더하면 좌표마다 N(0,σ²)를 더한 것과 같아지며, |T_j(z)| ≤ 1이라는 성질로 ℓ2 민감도를 4L(1+log k)/n² 이하로 묶어 (ε,δ)-차분 프라이버시를 얻는다.

무엇과 다른가

이론적 기여는 두 층이다. 먼저 1차원에서 알려진 "처음 1/α개 모멘트가 일치하면 W1 ≤ α"를 고차원으로 일반화한다. 단위 구에서 무작위로 뽑은 L = Õ(d/α²)개 방향에 대해 처음 O(1/α)개 체비쇼프 모멘트를 맞추면 슬라이스 바서슈타인-1 오차가 O(α)로 보장된다. 기술적 난점은 방향 수 L이 d에 지수적으로 늘어나지 않아도 됨을 보이는 것인데, 저자들은 분포 공간을 직접 이산화하는 대신 대칭화와 가우시안 비교 논증으로 문제를 경험적 모멘트의 무작위 선형 결합 하나로 축소한다. 모멘트가 q에 선형이므로 최악의 경우 q가 한 점에 질량을 몰아넣는 분포가 되고, 따라서 d차원 공 하나에 대한 합집합 한계로 충분해진다. 이를 바탕으로 한 최종 정리(Theorem 5)는 상수 프라이버시 파라미터에서 SW1(p,q) ≤ Õ(1/√(nε))를 99/100 확률로 보장하며, 이 오차에는 차원 d가 등장하지 않는다. 필요한 표본 수가 n = Õ(1/(εα²))라는 뜻이다. 다만 샘플링하는 방향 수 L은 여전히 d에 비례한다(k=⌈√(nε)⌉, L=⌈dnε(1+log(nε))⌉ 선택).

어떻게 쓰나

정리는 q가 존재한다고 말할 뿐, 그 q를 어떻게 표현하고 학습할지는 말해주지 않는다. 저자들은 q를 K개 곱분포의 혼합으로 표현한다. 각 성분에서 범주형 변수는 [−1,1] 등간격 격자 위의 확률벡터로, 연속형 변수들은 저랭크+대각 공분산(Σ = UU^T + diag(D), 랭크 R)을 갖는 하나의 결합 가우시안으로 모델링한다. 성분당 O(d) 파라미터, 전체 O(K(d_C·r_max + d_N·R))로 표현되며, 혼합을 통해 범주형-범주형, 범주형-연속형 의존성을 잡는다. 학습은 가중 제곱 모멘트 오차(1/L)Σ_ℓΣ_j (m̃_{j,ℓ} − m_j(θ_ℓ,q̂))²/j²를 경사하강법으로 최소화하는데, 슬라이스 체비쇼프 모멘트가 미분 가능한 닫힌 형태를 갖기 때문에 가능하다. 실험에서는 K=5, R=2라는 작은 혼합만으로 충분했다.

전제와 한계

실험은 TALENT 벤치마크의 209개 데이터셋(이진 분류 75, 다중 분류 47, 회귀 87)에서 ε ∈ {0.5, 1, 3, 10}, δ = 10⁻⁹, 셀당 5개 시드로 수행했다. 학습은 합성 데이터로 학습하고 실제 데이터로 평가하는 TSTR 프로토콜을 쓰고, 네 가지 학습기(로지스틱/릿지, 랜덤포레스트, XGBoost, TabPFN) 중 최고 성능으로 채점해 순위를 집계했다. 209개 중 실제로 보고하는 것은 학습 가능한 184개다. 결과는 회귀에서 특히 강하다. 67개 회귀 데이터셋에서 평균 TSTR 순위가 ε = 0.5, 1, 3, 10에서 각각 2.58, 2.19, 1.72, 1.73으로 모든 예산에서 1위다. 분류에서는 각 예산마다 상위 3위 안에 든다. 주변분포 충실도에서는 3-way가 모든 예산에서 1위, 2-way는 ε ≥ 1부터 1위이며, 1-way만 AIM에 뒤져 3위다. 슬라이스 바서슈타인-1과 커널 MMD에서는 모든 예산에서 1위다. 인과 구조 복원에서는 GRaSP로 복원한 그래프의 엣지 F1이 ε ≤ 3에서 0.42~0.49로, 최고 한계 기반 베이스라인의 0.00~0.37을 대략 두 배 앞선다. 실행 시간은 12,500~400,000행, 6~24열 격자에서 30~120초로 거의 일정하며, 벤치마크 전체 16,800회 생성에서 실패가 0건이었다고 보고한다(다른 베이스라인은 모두 어딘가에서 실패).

개발자 관점에서 이 방법이 유효한 지점은 연속형·순서형 변수가 많은 테이블 데이터에서 고차 상호작용이나 인과 구조까지 살리고 싶을 때, 그리고 데이터 크기와 차원이 커져도 학습 시간이 급증하지 않는 합성 데이터 생성기가 필요할 때다. 표본 복잡도가 차원과 무관하다는 점은 고차원 테이블에서 특히 실용적이다. 다만 도입 전에 확인할 것이 있다. 첫째, 보장되는 것은 슬라이스 바서슈타인-1이지 전체 바서슈타인-1이 아니다. 후자는 프라이버시 하에서 근본적으로 불가능하다고 논문이 명시한다. 둘째, 순서 없는 범주형 변수가 많은 분류 태스크에서는 저자들 스스로 SPLICE가 상대적으로 약하다고 인정한다. 셋째, 최종 "Match" 단계는 이론적 최소화 문제를 경사하강법으로 푸는 휴리스틱이므로, 정리가 말하는 오차 보장은 그 최소화를 실제로 달성했을 때 성립한다.

저자가 밝힌 전제와 한계는 다음과 같다. 이론 결과는 데이터가 단위 공 안에 있고, 가우시안 블록을 쓰는 실제 구현에서는 q̂의 가우시안이 무한 지지집합을 가지므로 마지막에 좌표별로 [−1,1]로 클리핑해 근사한다는 점을 명시한다. 또한 정리에서 주어진 오차 한계는 큰 상수 배수를 포함해 실제 SW1 오차 스케일과 맞추어 그려야 할 정도이며, 방향 수 L은 여전히 차원 d에 선형으로 비례해 늘어난다. 가장 중요한 한계는 최적화다. 정리는 "주어진 최소화 문제를 풀면 q가 p에 가깝다"는 조건부 보장이고, K=5, R=2 혼합이 실제 데이터에서 잘 맞았다는 것은 실증적 관찰이지 이론적 보장이 아니다.