협업 모델이 서로의 차이를 지우지 않고 응답 재구성으로 성능을 높인다

무엇인가

이 논문은 같은 과제를 위해 따로 학습된 모델들이 구조·데이터·최적화 차이 때문에 서로 다른 오류와 보완 능력을 갖는다는 점에서 출발한다. 기존 지식 전이·상호학습은 주로 예측, 관계, 표현 사이의 차이를 줄여 연결을 만들지만, 그 차이가 바로 보완성의 원천이므로 차이를 줄이는 일과 보존하는 일 사이에 구조적 딜레마가 생긴다. 저자들은 협력자가 공급하는 지식의 종류보다, 그 지식이 대상 모델의 과제 함수를 어떻게 바꾸는지가 독립 배포 성능을 좌우한다고 보고 이 문제를 다룬다.

어떻게 동작하나

Corroborative Learning은 두 독립 모델의 기준 점수와 표현을 고정해 두고, 각 모델이 자신의 과제 점수 변화량을 학습하도록 한다. 경량 어댑터는 64차원 GELU 은닉층을 거쳐 응답 증가분 Δ_i를 만들고, 기준 점수 o_i^0에 고정 스케일 γ_i를 곱해 더한 o_i를 출력한다. 훈련 데이터를 K개 비중첩 그룹으로 나눈 뒤, j→i 방향에서는 j의 표현 Z_j로 i의 응답 증가분 D_i를 재구성하는 릿지 회귀를 나머지 그룹에서 적합하고, 제외된 그룹에서만 재구성 오차를 평가한다. 이 source-excluded 재구성 오차가 협력 손실 C_j→i가 되며, 역할을 바꾼 C_i→j와 함께 양방향으로 최적화한다. 출력이나 중간 특징을 직접 맞추지 않고, 추론 시 재구성기와 교차 연결을 모두 버린다.

무엇과 다른가

훈련 목적식은 각 모델의 과제 손실, 응답 크기 벌점, 상대 표현으로부터의 재구성 손실을 합친 형태다. 협력자가 고정된 선형 재구성에서는 손실이 양의 준정부호 이차형식 tr(D_i^T Q_j D_i)/N으로 표현되고, Q_j의 고유값이 큰 방향일수록 단위 응답 에너지당 재구성 오차가 커져 더 강하게 억제된다. 저자들은 신호 s와 잡음 ε을 가정한 국소 분석에서 잔존 계수 a=1/(1+2μq)를 유도하고, 잡음 분산이 (1-a)/(1+a)·s^2보다 클 때만 방향 축소가 추정 오차를 줄인다고 설명한다. 즉 협력은 잡음을 줄이지만 모델 고유의 유용한 신호도 함께 줄일 수 있다는 전제를 수식으로 밝힌다.

어떻게 쓰나

실험은 여섯 개 언어 과제, 24개 독립 학습 모델, 36개 모델 쌍으로 구성된다. 원문에 이름이 나오는 과제는 Re-TACRED, CrossRE, MNLI, Re-DocRED, WikiEvents, ACE05이며, 용량을 맞춘 독립 적응(IA) 대비 CL이 모든 과제에서 평균 +0.52%p 향상했다. Re-TACRED에서는 IA보다 1.922%p, 초기 Checkpoint보다 0.172%p 높았고, WikiEvents에서는 자체 Checkpoint보다 +0.65%p, CrossRE에서는 +1.30%p 이득을 보고한다. 다른 열 가지 방법과의 엄격한 쌍별 비교에서 960번 중 827번 이겨 표 내 최고 집계를 기록했고, DML은 689번이었다. 36개 쌍의 72개 방향 결과 중 62개(86.1%)가 Checkpoint보다 개선됐으며, DML의 양의 방향 비율은 69.4%였다.

전제와 한계

보완성 분석에서 초기 CrossRE 6개 쌍은 평균 예측 불일치 18.53%, 한쪽만 맞힌 예시 11.77%, 정답 라벨 오라클 선택 시 더 강한 모델 대비 5.52%p의 상한 여지를 보였다. 쌍 수준 이득과 오라클 여지의 상관은 CL이 스피어만 0.81로 DML 0.71보다 높았고, Diff-DML은 -0.60, ADM은 -0.03이었다. 보완성이 낮은 집단에서 높은 집단으로 갈수록 CL의 이득은 +1.18, +1.27, +1.44%p로 커졌다. 절제 실험에서는 자기 재구성 +0.14, 같은 그룹 내 재구성 +0.23, 협력자 대응을 섞은 경우 +0.03, 협력자 고정 +0.37, 단방향 협력 +0.34였고, 완전한 방법이 +0.52%p와 양의 방향 88.9%를 냈다.

샘플 수준에서는 재구성 잔차가 작은 구간에서 교정률이 5.6~5.8%로 높고 마지막 구간에서 1.3%로 떨어졌으며, 새 오류율은 두 번째 구간에서 3.6%로 정점을 찍고 0.5%까지 내려갔다. 잔차와 과제 효용의 중위 부분 상관은 진짜 협력자 정보에서 -0.161, 자기 재구성에서 -0.017, 섞인 대응에서 +0.040으로 나타나 진짜 상대 정보가 유용한 변화를 더 잘 구분하는 쪽으로 해석됐다. 방향 분석에서는 Q_j 고유값이 큰 상위 두 분위에서 응답 진폭 감쇠가 약 0.85와 0.83에 이르렀고, 국소 위험 조건이 성립할 때 정규화 오차가 0.182에서 0.154로 줄었지만 조건이 깨지면 0.045에서 0.059로 늘었다. μ를 0에서 10으로 올리면 여섯 과제 평균 이득이 약 +0.17%p까지 오르고 100에서는 +0.12%p로 내려가는 비단조 경향도 보고된다.

라벨 비율을 10%, 25%, 50%, 100%로 줄였을 때 IA 대비 평균 이득은 각각 +1.54, +1.13, +0.81, +0.52%p였고, 협력 라벨을 50%, 25%, 10%만 쓸 때는 표 2에서 고른 과제별 최강 베이스라인보다 0.144±0.020, 0.326±0.024, 0.633±0.030%p 더 높았다. 그룹 구성은 CrossRE에서 도메인 및 크기 정합 무작위 그룹 실험이 각각 +0.28, +0.27%p를 냈고, Re-TACRED에서는 사전 정의 층화가 무작위 +1.82를 +1.92로 올렸다. 서로 다른 구조의 ACE05 모델 조합에서도 평균 +0.03%p, TagPrime을 AMPERE나 DEGREE가 보조할 때 각각 약 +0.18%p가 나와 구조 유사성이 협력의 필요조건은 아님을 보였다. 비용은 IA 대비 훈련 시간 2.23배, 최대 메모리 1.04배이며, 교차 모델 재구성은 훈련에만 쓰여 추론 지연은 IA와 같다. DML과 훈련 시간을 맞추면 CL은 DML 대비 +0.035±0.028%p를 유지했다. 비전에서는 ResNet-50, ConvNeXt-Tiny, ViT-B/16의 세 쌍·여섯 방향에서 100%와 10% 협력 라벨 모두 평균 Top-1이 가장 높았고, 10% 라벨에서 Diff-DML보다 각각 0.326, 0.265%p 높았다.

개발자 관점에서 이 방법은 앙상블처럼 여러 모델을 동시에 서빙하지 않고도 기존 독립 모델을 서로 보완하도록 훈련하는 대안이 된다. 다만 훈련 중 두 모델의 표현을 함께 계산해야 해서 훈련 시간이 IA의 2.23배로 늘고, 데이터를 여러 그룹으로 나눠 제외 그룹에서 재구성 오차를 평가하는 절차가 필요하다. 또한 선형·고정 협력자 분석은 국소적 설명이며, 강한 협력은 잡음뿐 아니라 모델 고유의 유용한 신호까지 억제할 수 있다. 저자들은 현재의 쌍 단위 설정을 자동 상대 선택과 더 큰 모델 집합으로 확장하는 것을 다음 단계로 남겼다.