분류기 헤드의 기하로 연합학습 클라이언트를 묶어 표현을 개인화한다

무엇인가

연합학습 개인화의 실제 난제는 "어떤 클라이언트가 표현을 공유해야 하는가"를 정하는 일이다. 인코더는 공유하고 분류기 헤드만 클라이언트별로 두는 FedPer·FedRep·FedBABU 계열은 결정 경계는 개인화하지만 표현은 모두 같아서, 라벨 구성이나 촬영 조건이 다른 클라이언트에게는 여전히 부담이 된다. 클러스터링 계열은 이 관계를 추론하려 하지만 하드 할당이거나, 별도 최적화 궤적·추가 로컬 목적함수를 유지해야 한다. 저자들은 여기에 더해 평균 정확도만 보면 소수 클라이언트의 심각한 성능 저하가 가려진다는 점을 문제로 든다.

어떻게 동작하나

HDC-FL의 발상은 이미 학습 중에 공짜로 생산되는 신호, 즉 클라이언트별 선형 헤드의 기하를 쓰는 것이다. 모든 헤드는 같은 공유 인코더 궤적 위에서 같은 클래스 순서로 학습되므로, 헤드의 각 행을 공통 특징 공간의 클래스 방향으로 비교할 수 있다는 전제다. 서버는 관찰된 모든 클라이언트의 최신 (인코더, 헤드) 쌍을 캐시에 보관한다. 갱신 라운드가 되면 캐시된 헤드들을 가로로 쌓아 절단 SVD를 구하고, 좌특이벡터 U_r로 각 헤드를 투영해 C·d 차원을 r·d 차원으로 줄인 뒤 L2 정규화해 기술자 h_k를 만든다. 이 기술자들에 k-means를 돌리는데, 그룹 수 G는 미리 고정하지 않고 기술자 기하에서 결정하며, 실루엣 점수·연속 갱신 간 할당 일치도(ARI)·기술자 변화량이 m회 연속 안정 기준을 만족할 때 개인화를 활성화한다. 각 클라이언트는 하드 할당이 아니라 h_k와 정규화된 중심 μ_g의 내적에 온도 τ를 적용한 소프트맥스로 그룹별 소속 확률을 받는다. 이어서 그룹 g의 인코더 프로토타입 θ_g는 그 그룹에 배정된 클라이언트들의 캐시 인코더를 로컬 데이터 크기로 가중 평균해 만든다. 클라이언트가 받는 것은 θ̄_k = Σ p_k,g θ_g, 즉 프로토타입들의 소프트 혼합이며(주 실험은 λ=1로 자기 인코더와의 보간 없음), 여기에 변하지 않은 자기 헤드를 그대로 짝지어 평가·배포한다. 핵심은 이 개인화 인코더가 캐시에 되먹여지지 않는다는 점이다. 헤드는 평균되거나 다른 클라이언트에 배포되지 않고, 공유 인코더 학습 궤적은 그대로 유지되며, 두 번째 최적화 경로도 사후 파인튜닝 단계도 없다.

무엇과 다른가

실험은 CIFAR-10과 CIFAR-100, 클라이언트 20개, 총 11개 구성이다. 라벨 부분집합 편향(LS2/LS3, 라벨 공간의 20%·30%만 관찰), Dirichlet 라벨 편향(α=0.07, 0.3), 그리고 클라이언트마다 네 가지 고정 회전 중 하나를 주고 라벨 비율은 Dir(1)을 따르게 한 회전 이동을 다룬다. 인코더는 ResNet-18과 MobileNetV2, 헤드는 선형이며, 통신 100라운드(CIFAR-100 α=0.07만 80라운드), 시드 42·123·2026 평균이다. 비교 대상은 개인화 없는 FedAvg-SE, 개인화 기법 FedBABU·FedALA, 클러스터링 기법 IFCA·PACFL·EMD-CFL, 소프트/다중 클러스터 FedSoft·FedCE, 그리고 분류기 기하를 쓰는 가장 가까운 베이스라인 PFedCS다.

어떻게 쓰나

결과 해석은 저자들이 상당히 절제해서 쓴다. 11개 구성 매크로 평균 정확도는 HDC-FL 88.08%, PFedCS 87.86%, FedBABU 87.58%로, 시드 변동에 비해 차이가 작아 "평균에서는 세 방법이 동급"이라고 명시한다. ResNet-18에서 HDC-FL과 FedBABU가 평균 순위 2.12로 가장 좋았다. 세부적으로 CIFAR-100 라벨 부분집합에서 HDC-FL과 PFedCS가 LS2 88.43%·88.32%, LS3 85.26%·85.45%로 앞섰고, HDC-FL은 CIFAR-10 회전에서 91.55%를 냈다. 논문이 진짜로 밀어붙이는 것은 꼬리 성능이다. 11개 구성 매크로 평균에서 최악 클라이언트 정확도 82.05%, 하위 20% 정확도 84.44%, 꼬리 순위 2.09로 가장 높았지만 PFedCS와의 차이는 각각 0.36%p, 0.24%p이고 공정성 격차도 9.72 대 9.74로 거의 같다. 두 방법을 동급으로 보되, 나머지 베이스라인과는 뚜렷이 갈린다고 정리한다. 평균만 보면 놓치는 사례도 제시한다. FedBABU는 평균 87.58%로 경쟁력이 있지만 최악 클라이언트 정확도가 55.32%까지 떨어지고 격차가 38.37%p에 달하며, 하드 클러스터링인 IFCA와 EMD-CFL은 최악 클라이언트 정확도에서 개인화 없는 FedAvg-SE보다도 낮다.

전제와 한계

절제 실험은 두 가지 설계 선택을 분리한다. 사전학습 초기화 없이 CIFAR-10 회전에서, 자기 캐시 인코더를 쓰면 평균 77.57%인데 이를 단일 모집단 프로토타입으로 바꾸면 80.30%가 된다. 즉 이득의 일부는 여러 인코더를 평균하는 것 자체에서 나온다. 여기에 헤드 기반으로 4개 그룹으로 나누면 평균이 0.74%p 더 오르고 두 꼬리 지표도 함께 개선된다. 소프트 혼합을 최근접 프로토타입 하드 할당으로 바꾸면 CIFAR-100 α=0.3에서 평균 0.85%p, 꼬리 지표 1.08%p·0.95%p가 깎인다. 저랭크 투영은 원시 헤드 대비 실루엣 점수와 연속 할당 일치도를 크게 높이면서 예측 정확도는 거의 바꾸지 않는다고 부록에서 보고한다.

방법의 핵심 가정도 직접 검증한다. MobileNetV2 최종 라운드에서 모든 순서쌍(3,420개 방향쌍)에 대해 타깃의 헤드와 테스트 데이터는 고정하고 인코더만 기부자 것으로 교체해 재학습 없이 재평가했다. 헤드 유사도는 세 설정 모두에서 손실 이득과 양의 평균 스피어만 상관을 보였고, 회전 이동에서 가장 강했다(ρ=0.243, AUROC 0.783). 가장 약한 것은 CIFAR-100 LS3(ρ=0.117, AUROC 0.565)다. 최근접 헤드 기부자를 고르는 것은 무작위 선택 대비 회전 2.50%p, CIFAR-10 라벨 편향 1.57%p, CIFAR-100 라벨 편향 0.41%p 이득이다. 회전 설정에서는 최근접 헤드 기부자가 같은 회전일 확률이 75.0%로 기저율 21.1%를 크게 웃돌고, 같은 회전 교체는 평균 +0.83%p, 다른 회전 교체는 -3.46%p였다. 다만 저자들은 두 가지 단서를 붙인다. CIFAR-10 라벨 편향에서는 개별 교체의 15.6%만 손실을 줄여서, 순위가 유용하다고 해서 단일 기부자 이식이 유용하다는 보장은 없다(그래서 HDC-FL은 여러 인코더를 가중 평균·소프트 혼합한다). 또 라벨 편향에서는 헤드 유사도가 라벨 지원 중복과 강하게 연관되며(스피어만 0.89, 0.78), 그 중복을 통제하면 전이 이득과의 편상관이 거의 0이 된다. 즉 이 설정에서 헤드 유사도는 인코더 호환성의 독립 지표라기보다 공유 라벨 지원의 운영적 대리 지표다.

개발자 관점에서 이 논문의 실용적 매력은 침습성이 낮다는 것이다. 이미 공유 인코더 + 개인 헤드 프로토콜을 돌리고 있다면, 클라이언트 목적함수·옵티마이저·로컬 에폭 예산을 건드리지 않고 서버 측에 캐시·SVD·클러스터링·프로토타입 혼합 단계만 얹으면 된다. 클라이언트 추가 학습도, 그룹별 독립 모델도 필요 없고, 비용은 서버 연산·저장과 개인화 인코더 배포 통신으로 국한된다. 도입 전에 확인할 것은 네 가지다. 로컬 업데이트가 짧고 집계가 잦아 캐시 인코더들이 공통 궤적 근처에 남는지, 모든 클라이언트가 같은 인코더 아키텍처와 같은 라벨 공간을 쓰는지, 헤드를 서버로 올릴 수 있는지(파라미터 은닉이 요구되는 환경이면 부적합), 그리고 평가를 평균이 아니라 최악 클라이언트·하위 20%로 하고 있는지다.

한계는 저자들이 명시한다. 첫째, 아키텍처 전제다. 기술자가 헤드를 좌표별로 비교하고 프로토타입이 인코더를 파라미터별로 평균하므로 모든 클라이언트가 같은 인코더와 공통 라벨 공간을 가져야 하며, 평균이 의미 있다는 논거 자체가 짧은 로컬 업데이트와 잦은 집계를 가정한다. 로컬 학습이 길어지거나 이기종 모델이 섞이면 약해진다. 둘째, 정보 전제다. 서버가 클라이언트별 헤드를 받으므로 클라이언트별 예측 행태 정보가 서버에 노출되며, 모델 파라미터 자체를 숨겨야 하는 환경에는 이대로는 맞지 않는다. 기술자 구성 후에는 원시 헤드 대신 기술자 통계만 주고받는 프라이버시 보존 확장이 가능하다고만 언급하고 검증하지는 않았다. 셋째, 규모다. 연합 규모가 20 클라이언트뿐이어서, 서버 캐시가 커지고 각 클라이언트의 갱신 빈도가 낮아지는 대규모 자연 분할 환경은 다음 과제로 남긴다. 기부자 교체 진단 역시 상관관계 분석이고 단일 백본에서 수행됐다.