재학습 없이 트랜스포머를 임의 연산 예산으로 줄이는 단일 랭킹 기법
Your Transformer Is Secretly Elastic
무엇인가
이 논문이 다루는 문제는 트랜스포머 모델 패밀리가 S, B, L처럼 소수의 고정 크기만 제공한다는 점이다. 사용자는 하드웨어와 지연 제약에 맞춰 크기 하나를 골라야 하고, 트래픽이 출렁이는 상황에서는 이 선택이 최적이 아니다. 피크 부하 때는 평소 고른 모델이 너무 비싸고, 연산 여유가 있을 때는 작은 모델이 성능을 낭비한다. 구조적 프루닝으로 중간 크기를 만들 수는 있지만 프루닝된 모델은 각각 목표 예산에 고정된다. 예산 k개를 서빙하려면 k개 모델을 만들어 저장하고 전환해야 하며, 서로 다른 프루닝 모델의 임베딩이 호환되지 않으면 검색 인덱스도 따로 필요하다. 탄력적 추론은 하나의 모델이 추론 시점에 예산을 고르게 하지만, 기존 접근은 중첩 구조를 전제로 처음부터 학습하거나 대규모 파인튜닝을 요구해 수십억 파라미터 모델에서는 비용이 크다.
어떻게 동작하나
제안 방법은 재학습 없이, 가중치를 동결한 채로 트랜스포머의 기능 단위인 MLP 뉴런과 어텐션 헤드 전체에 대한 단일 중요도 랭킹을 만든다. 랭킹이 있으면 하위 단위부터 제거해 임의의 희소도를 실현할 수 있다. 출발점은 헤시안 대각 근사를 경험적 Fisher로 추정한 초기 점수다. N개 캘리브레이션 샘플에 대해 비전 인코더는 DINO 자기지도 목적함수의 그래디언트를, 텍스트 인코더는 배치 내 InfoNCE 목적함수의 그래디언트를 쓴다. 가중치별 점수를 MLP 뉴런은 입력 투영 열과 출력 투영 행에 걸쳐, 어텐션 헤드는 value 투영 슬라이스에 걸쳐 평균 내 단위 점수로 바꾼다. 저자들은 이 초기 점수가 대각 근사라 단위 간 상호작용을 무시하고, 대리 손실이 다운스트림 성능과 어긋날 수 있으며, 블록 간·단위 타입 간 비교가 불가능하다고 지적한다.
무엇과 다른가
핵심 기여는 이 랭킹을 미분 가능한 소프트 프루닝으로 다시 정렬하는 것이다. MLP 뉴런용 로그 점수와 헤드용 로그 점수를 학습 가능한 파라미터로 두고, 초기화 시 각 타입의 로그 점수 중앙값을 0으로 맞춰 두 분포를 같은 척도에 올린다. 각 희소도 목표 b마다 랭킹을 위에서부터 훑어 누적 FLOP이 목표에 도달하는 지점의 점수를 컷오프로 잡고, 그 컷오프로부터의 부호 있는 거리를 시그모이드로 눌러 0과 1 사이의 소프트 마스크를 만든다. 컷오프는 stop-gradient로 고정하되 매 최적화 스텝마다 다시 계산해 랭킹이 바뀌어도 목표 예산을 반영하게 한다. 마스크는 순전파에서 MLP 활성값과 헤드 출력 채널에 곱해진다. 목적함수는 5%에서 70%까지 5% 간격 14개 희소도 목표에 대한 마스크 모델 손실의 평균이다. 마스크 그래디언트는 컷오프 근처에서 가장 강하므로 여러 예산을 동시에 최적화하면 랭킹의 서로 다른 구간이 각기 유용한 그래디언트를 받는다. 최종 점수의 지수값이 추론 시 사용할 랭킹이 된다. 선행 연구인 SnapViT가 MLP 블록과 어텐션 헤드당 스케일 하나를 진화 탐색으로 최적화해 블록 내 뉴런 순서를 초기 점수에 고정시킨 반면, 이 방법은 뉴런과 헤드마다 개별 점수를 공동 최적화해 블록 안에서도 순서를 바꿀 수 있다.
어떻게 쓰나
실험은 22M에서 8B 파라미터에 이르는 비전·텍스트 트랜스포머 인코더 27개를 대상으로 한다. 비전은 ImageNet-1k k-NN 분류, Hummingbird 프로토콜을 쓴 Pascal VOC 2012 인컨텍스트 시맨틱 세그멘테이션, 텍스트는 41개 태스크의 MTEB(eng, v2)로 평가한다. 비교 대상은 FPTP, SparseGPT, OPTIN, VBP, SnapViT, 그리고 텍스트의 SlimGPT다. 결과를 보면 30% 희소도까지는 베이스라인이 경쟁력 있지만 그 이후 모든 베이스라인이 급격히 무너지는 반면 제안 방법은 완만하게 열화한다. 50% 희소도에서 2위 대비 DeiT에서 9.6%p, DINOv3에서 40.3%p 앞서고, 60%에서는 DeiT-III 15.3%p에서 DINOv3 28.4%p까지 격차가 벌어진다. 40% 희소도에서 제안 방법은 DINOv3에서 69.4%, SigLIPv2에서 61.1%를 유지하는데 모든 베이스라인은 30% 아래로 떨어진다. 세그멘테이션에서는 AugReg가 30%부터 앞서 50%에서 2위인 OPTIN을 25.1%p 앞서고, DINOv3는 30%에서 mIoU 손실이 3.8%에 그친 반면 SnapViT는 22.4% 잃는다. 다만 DINOv3는 40%를 넘으면 제안 방법으로도 급격히 무너져 50%에서 34.8%를 잃는다.
전제와 한계
텍스트 임베딩에서는 BGE-L, E5-L, Qwen3 0.6B 모두에서 모든 희소도에 걸쳐 SlimGPT를 앞서며, Qwen3 0.6B 60%에서 최대 38.0점 차이다. SnapViT는 30%까지 최대 1.0점 앞서지만 깊은 프루닝에서 뒤처져 60%에서 E5-L이 57.3을 유지하는 동안 30.2에 머문다. 양방향 인코더가 더 강건해서 E5-L은 60%에서 5.1점만 잃는 반면 Qwen3 0.6B는 18.0점을 잃는다. 모델 크기 효과는 뚜렷하다. 50% 희소도에서 DeiT-III ViT-S/16은 33.2%를 잃지만 ViT-H/14는 5.3%만 잃고, DINOv3 ViT-B/16은 26.1% 대 ViT-H+/16은 1.8%로 40%까지 dense 정확도 대비 0.4% 이내를 유지한다. 60%에서도 ViT-H+/16은 79.4%를 지키는데 베이스라인은 모두 20% 미만이다. DINOv3 ViT-H+/16을 50%로 프루닝하면 427M 파라미터가 제거되고 ImageNet-1k linear probing 정확도는 0.8%만 떨어진다. 텍스트는 비전과 달리 크기보다 패밀리가 더 중요해서, 60%에서 BGE 손실이 BGE-S 10.0점에서 BGE-L 8.7점으로 줄 뿐이고 Qwen3는 0.6B 18.0점, 4B 19.5점, 8B 15.7점으로 일관된 추세가 없다.
배포 관점의 실험도 있다. 인덱스는 dense 인코더로 오프라인에서 한 번 구축하고 들어오는 쿼리만 부하에 따라 탄력적으로 인코딩하는 비대칭 설정에서, 50% 희소도일 때 최고 베이스라인이 AugReg, DINOv3, SigLIPv2에서 6% 미만 정확도로 붕괴하는 반면 제안 방법은 2위를 SigLIPv2에서 13.8%p, DINOv3에서 49.4%p 앞서고 DINOv3 40%에서 최대 66.2%p 격차를 낸다. BEIR 텍스트 검색에서는 20% 희소도에서 nDCG@10을 최대 3.0점, 40%에서 10.9점만 잃고, 50~60%에서는 모든 백본에서 베이스라인을 앞서 60%의 Qwen3 8B에서 최대 36.5점 차이다. 속도는 AugReg ViT-B/16 60% 희소도에서 배치 크기 128 기준 dense 대비 최대 1.80배 처리량, A100 fp16 단일 쿼리 지연 1.26배 감소를 측정했다. 예산 전환 비용은 초기 컴파일을 제외하면 평균 0.46ms다. 탄력적 모델 생성은 분 단위로 끝나고 생성 시간은 파라미터 수에 대해 준선형 이하로 증가한다.
절제 실험은 설계 선택의 근거를 보여준다. 점수 세밀도를 서브레이어당 스케일 하나에서 유닛별 개별 점수로 높이면 정확도가 29.4%에서 59.7%로 단조 증가한다. SnapViT의 파라미터화를 같은 최적화 프로토콜에 적용하면 28.4%에서 34.6%로 개선되지만 유닛별 최적화에는 25.1%p 뒤진다. 초기화 민감도도 낮아서 20% 희소도에서 최적화가 Wanda를 7.2%에서 77.8%로, 랜덤 초기화를 58.2%에서 76.8%로 끌어올려 DINO 초기화와 각각 2.3%p, 3.3%p 차이까지 좁힌다. 다만 60%에서는 DINO 초기화가 Wanda보다 12.6%p, SNIP보다 1.9%p 앞서고, 40%에서는 SNIP이 DINO를 0.3%p 앞선다. 여러 희소도 목표를 공동 최적화하는 것이 목표별로 따로 최적화한 랭킹보다 20%에서 0.4%p, 60%에서 3.6%p 더 좋다.
개발자 입장에서 이 방법의 실용적 의미는 체크포인트 하나로 여러 지연 예산에 대응할 수 있다는 것이다. 재학습이나 가중치 보정 없이 분 단위로 탄력적 모델을 만들 수 있고, dense 인덱스를 다시 구축하지 않고도 쿼리 예산을 바꿀 수 있다. 도입 전에 확인할 것은 캘리브레이션 데이터와 목적함수 선택(비전은 DINO, 텍스트는 InfoNCE), 최적화에 쓰는 희소도 목표 범위(5~70%), GPU 친화적 프루닝 단위 설정, 그리고 자신의 백본이 디코더 기반 텍스트 임베더인지 여부다. 저자들이 밝힌 한계는 명확하다. 비전과 양방향 텍스트 인코더에서는 강하지만 평가한 디코더 기반 텍스트 임베더에서는 깊은 프루닝이 여전히 어렵다. 확산 기반 이미지 생성과 자기회귀 언어 모델링으로의 확장, 학습된 랭킹을 활용한 탄력적 포스트트레이닝은 향후 과제로 남겨 두었다.