롱테일 벤치마크 구성이 분류기 보정 후 인코더 학습의 가치를 바꾼다

무엇인가

롱테일 인식의 흔한 레시피는 공유 표현을 먼저 학습한 뒤 분류기만 클래스 균형에 맞게 보정하는 것이다. 문제는 그 다음이다. 분류기를 강하게 보정하고 나면 최종 정확도 수치만으로는 인코더를 추가로 학습할 가치가 남아 있는지 알 수 없다. 게다가 표준 불균형 벤치마크는 두 가지를 동시에 바꾼다. 희소 클래스가 실제로 가진 서로 다른 이미지의 수와, 그 이미지들이 표현 학습 중에 얼마나 자주 동원되는지다. 논문은 이 둘을 분리하지 않으면 "데이터가 적어서 어렵다"와 "표현이 그 데이터를 충분히 반영하지 못했다"를 구별할 수 없다고 지적한다.

어떻게 동작하나

제안하는 것은 벤치마크 난이도를 두 축으로 인수분해하는 통제 실험 틀이다. 클래스 c에 대해 고유 지원 U_c는 학습 중 사용 가능한 서로 다른 원본 이미지 수, 표현 할당 Q_c^rep는 표현 학습 단계에서 그 클래스에 배정되는 소스 드로우 쿼터다. 논문의 식 (1)은 평균 노출도 R_c = Q_c^rep / U_c로 정의한다. 이미지 10장에 드로우 30회를 주면 R_c=3, 드로우 3회를 주면 R_c=0.3이 되는데, 어떤 이미지가 존재하는지는 전혀 바뀌지 않는다. 헤드와 미들은 고정하고 테일 지원만 중첩 부분집합으로 줄이며, 정수 쿼터는 최대잔여법으로 반올림해 전체 드로우 수를 정확히 보존한다. 의미 그룹을 헤드·미들·테일 역할로 돌리는 3가지 클래스 배정도 함께 쓴다.

무엇과 다른가

핵심 측정은 짝지은 비교다. 하나의 보정된 모델에서 두 갈래가 출발한다. 한쪽은 분류기만 업데이트하는 C_k, 다른 쪽은 네트워크 전체를 업데이트하는 A_k다. 두 갈래는 소스 인덱스, 증강 뷰, 업데이트 횟수, 분류기 학습률 스케줄, 평가 시점을 공유한다. 차이 G_k = Acc_tail(A_k) − Acc_tail(C_k)가 인코더 적응의 증분 가치이며, 두 갈래에 공통인 분류기 최적화 효과를 제거한다. 저자들은 이를 특정 목적함수와 예산 아래의 운용적 추정치로 규정하고, 분류기·표현 효과의 경로 독립적 분해로 주장하지 않는다. 판정 규칙은 테일 매크로 top-1에서 1퍼센트포인트를 실무 마진으로 두고, 모든 G_k의 동시 상한이 이보다 낮으면 분류기만으로 충분, 적어도 하나의 동시 하한이 넘으면 인코더 적응을 선택한다. 불확실성은 클래스 배정 3개, 배정당 지원 재구성 4개, 프로파일당 최적화 실행 2개에 걸친 계층적 부트스트랩으로 계산한다.

어떻게 쓰나

CIFAR-100(ResNet-32, 헤드 500장·미들 100장·테일 50~5장의 네 단계)에서 결과는 뚜렷하다. 같은 최저 지원 조건에서 결합된 지수 불균형 IF=100 프로파일은 FT-CE, FT-BCL, FT-BCE3S에 각각 1.66, 1.92, 2.01pp의 이득을 준다. 모두 동시 하한이 1pp 마진을 넘는다. 반면 표현 할당을 균형으로 두면 같은 목적함수들의 이득이 0.17, 0.26, 0.28pp로 떨어지고 모든 동시 상한이 0.45pp 이하다. FT-BCL 기준 결합 프로파일이 만드는 잔여 이득 차이는 1.66pp, 95% 구간 [1.62, 1.70]이며 클래스 배정 수준으로 보수적으로 묶어도 하한이 1.57pp다.

전제와 한계

지원과 할당의 역할은 다른 곳에서 갈린다. 할당을 균형으로 고정한 채 테일 지원을 줄이면 LOS 정확도는 62.1%에서 40.8%로 21.30pp 하락한다. 과제는 확실히 어려워진다. 그런데 같은 구간에서 FT-BCL 이득은 0.20~0.26pp에 머물고 동시 상한은 모두 0.45pp 이하다. 절대 난이도와 인코더를 여는 것의 한계 가치는 별개라는 뜻이다. 교차 단계 실험이 전환의 위치를 짚는다. 표현 학습이 균형일 때 이후 스케줄을 균형에서 롱테일로 바꿔도 이득은 0.26pp에서 0.34pp로만 오른다. 반대로 롱테일 할당으로 표현을 학습한 뒤 두 갈래 모두 균형 쿼터로 되돌리면 이득이 1.86pp, 하한 1.58pp로 남는다. 실질적 변화는 사후 샘플러가 아니라 표현 학습 스케줄에서 온다.

통제 실험은 대안 설명을 걷어낸다. 빈번 클래스 쿼터를 줄이지 않고 테일 드로우만 늘린 경우 이득은 0.43pp(상한 0.64pp), 입력 혼합은 그대로 두고 테일 그래디언트 가중치만 키운 경우 0.51pp(상한 0.73pp)다. cRT·LOS·SAMN으로 보정 모델을 바꾸고, 정규화 정책과 증강 재사용을 통제하고, BCL 대신 정합 전방 뷰 교차엔트로피(CE-3V) 표현을 써도 균형 할당의 상한은 모두 0.61pp 이하, 롱테일 할당의 하한은 모두 1.25pp 이상이다. CE-3V는 0.38pp(상한 0.61pp) 대 1.56pp(하한 1.25pp)다. 적응 전 표현의 테일 클래스 간 마진을 클래스 내 분산으로 나눈 분리·분산 비율은 여섯 개 셀에서 이후 FT-BCL 이득과 |ρ_s|=0.94의 연관을 보인다. 다만 저자들은 이를 기술적 진단으로만 제시하고 단일 매개 기제라고 주장하지 않는다. 전체 분포 지표에서도 균형 할당의 전네트워크 이득은 헤드·미들·테일·전체가 0.1, 0.2, 0.3, 0.1pp인 반면 롱테일 할당은 0.4, 0.9, 1.9, 1.0pp로, 빈번 클래스를 희생한 것이 아니다. ImageNet-100(ResNet-50)에서도 낮은 지원 조건에서 균형 0.34pp(상한 0.56pp) 대 롱테일 1.70pp(하한 1.42pp)로 같은 선택이 재현된다. 자연 불균형인 ImageNet-LT에서는 BCL 표현 3개와 각 2회 적응 실행으로 FT-BCL이 전체 0.80pp, 퓨샷 클래스 1.60pp 개선되며 짝지은 95% 구간은 각각 [0.55, 1.05], [1.19, 2.01]pp다. 이는 통제된 인수분해가 아닌 보조 증거로 제시된다.

개발자 관점에서 이 논문은 "테일이 어려우니 인코더까지 풀자"는 기본값을 의심하게 만든다. 판단 기준은 최종 정확도가 아니라 동일한 보정 모델에서 분류기만 이어 학습한 분기와 전체를 이어 학습한 분기의 짝지은 차이다. 실무에서는 롱테일 데이터셋을 만들거나 쓸 때 고유 지원과 표현 할당을 따로 보고해야 한다. 불균형 지수를 낮추는 것이 곧 표현 학습 이력을 바꾸는 일이기 때문이다. 또한 이 짝지은 틀은 전체 네트워크 분기를 부분 파인튜닝, 어댑터, 파라미터 효율적 업데이트로 교체해도 그대로 쓸 수 있어, 동결이냐 적응이냐의 이분법 대신 정확도-연산 곡선과 구간으로 의사결정을 표현하게 한다. CIFAR-100에서 동일한 2.86 GPU-시간의 FT-BCL 예산이 균형 표현 학습 뒤에는 0.26pp, 롱테일 표현 학습 뒤에는 1.86pp를 낸다는 대비가 그 요지를 압축한다. 작은 지원 실험에서는 시드만 바꾸지 말고 지원 집합 자체를 재구성해야 한다. 분산 분해에서 지원 재구성이 FT-BCL 변동의 81.7%를 차지했고 최적화는 13.1%, 클래스 역할 배정은 5.3%에 그쳤다.

한계는 저자들이 직접 밝힌다. 고유 지원은 접근 가능한 원본 이미지 수를 세지만 자세, 배경, 질감, 라벨 노이즈, 특징 공간 다양성은 담지 못한다. 통제된 CIFAR 프로파일은 정확한 드로우 쿼터로 지원과 할당을 분리하지만 자연 불균형 데이터의 모든 상관을 재현하지는 않는다. ImageNet-LT는 자연 불균형에서의 관련성을 보여줄 뿐 그 이득이 지원, 할당, 의미적 난이도 중 어디서 오는지 식별하지 못한다. 1pp 운영 마진과 정확도-연산 트레이드오프는 평가한 보정 방법, 목적함수, 예산, 하드웨어에 의존하는 값이지 보편 상수가 아니다. 표현 기하 진단은 인과 주장이 아니며, ResNet 기반 표현 밖으로 외적 타당성을 확장하려면 새로운 짝지은 비교가 필요하다.