모델병합은창발능력을 공유하면 보존하나 초가산적이면못만들고 한쪽만있으면 먼저희석한다

무엇인가

공개 저장소는 파인튜닝 체크포인트와 LoRA 어댑터로 넘치고, 이들을 가중치 공간에서 산술적으로 조합하는 모델 병합이 가장 흔한 재조합 방식이 됐다. 병합의 매력은 구성 요소에 있는 능력이 조합 후에도 최소한 희석된 형태로 살아남는다는 암묵적 가정 위에 서 있다. 이 가정은 모델이 최적화한 훈련된 능력에 대해서는 연구됐지만, 파인튜닝에서 생겨났으나 명시적 훈련 목표가 아니었던 창발 능력에 대해서는 검증된 적이 없다. 그런데 창발 능력이야말로 안전과 해석가능성에서 가장 중요하다. 좁은 유해 데이터로 파인튜닝한 모델이 무관한 프롬프트에서 광범위하게 정렬 이탈할 수 있고, 한 종류의 활성화에 대한 질문에 답하도록 훈련된 활성화 오라클은 본 적 없는 숨은 행동을 감사하는 능력으로 일반화한다. 이 논문은 병합이라는 조작이 이런 창발 능력에 무엇을 하는지 묻는다.

어떻게 동작하나

방법의 골격은 이렇다. 병합 대상은 동결된 베이스 모델 위의 LoRA 어댑터이고, 병합은 저랭크 공간에서 어댑터 가중치 델타 ΔW를 결합하며 베이스 가중치는 건드리지 않는다. 각 테스트베드에서 같은 어댑터의 두 능력을 식별한다. 어댑터가 최적화된 데이터 분포에서 측정한 훈련된 능력과, 훈련받지 않은 홀드아웃 행동에서 측정한 창발 능력이다. 보존율(retention)은 병합 또는 희석 변형에서의 값을 원본 어댑터에서의 값으로 나눈 것으로 정의한다. 두 능력이 서로 다른 지표로 측정되므로 각각을 바닥값, 즉 어댑터를 적용하지 않은 베이스 모델이 이미 달성하는 점수 기준으로 정규화해 0(능력 소실)에서 1(능력 온전) 범위로 맞춘다. 이 보정은 오라클 테스트베드에서 중요하다. 훈련 지표는 우연 수준 50%의 이진 분류이고 창발 지표는 바닥이 0이라, 보정이 없으면 훈련 보존율이 약 9포인트 부풀려진다. 정렬 이탈 테스트베드에서는 베이스가 두 지표 모두 0이라 보정이 무해하다. 희석은 ΔW(λ) = (1−λ)ΔW_adapter + λΔW_other 로 구성한다. λ는 혼합 가중치, ΔW_other는 두 번째 어댑터인 희석자이며, 모듈별로 노름을 맞춰 λ가 희석자 선택과 무관하게 비교 가능한 희석 강도가 되게 한다. 희석자는 노름을 맞춘 랜덤 어댑터(기계적 대조군), 무관한 과제로 파인튜닝한 실제 선량한 어댑터(생태학적으로 타당한 사례), 그리고 오라클 테스트베드에서는 다른 단일 과제 오라클 어댑터를 쓴다.

무엇과 다른가

첫 번째 결과는 두 부모가 창발 능력을 공유할 때다. 창발적 정렬 이탈(EM) 체크포인트에서 같은 베이스 모델 안의 bad-medical과 risky-financial은 서로 다른 좁은 도메인으로 파인튜닝됐지만 무관한 프롬프트에서 같은 창발적 행동, 즉 광범위 정렬 이탈을 보인다. 둘을 혼합 범위 전체에 걸쳐 선형 병합하면 창발 능력이 두 모델 패밀리 모두에서 83~96% 보존된다. 동등 혼합에서 Qwen2.5-14B는 95%, Llama-3.1-8B는 92%가 남는 반면, 상대가 선량한 어댑터일 때는 각각 1%와 0%다. 이 행동 자체가 병합을 견디기 어려운 성질을 가진 것이 아니다.

어떻게 쓰나

두 번째 결과는 창발 능력이 부모에 대해 초가산적일 때다. 활성화 오라클 패밀리에는 분류 목표로 훈련된 cls, 시스템 프롬프트 QA로 훈련된 latentqa 두 단일 과제 부모와 둘 다로 훈련된 joint 오라클이 있다. 훈련된 능력은 이진 활성화 분류이고, 창발 능력은 타깃 모델이 숨기도록 파인튜닝된 단어를 복원하는 taboo 비밀 단어 추출로, 어떤 오라클도 훈련받지 않았다. 두 부모의 어떤 가중 병합도 joint 오라클에 근접하지 못한다. 평가한 모든 병합(가중 연결 스윕, 선형 task arithmetic, TIES, 두 가지 최소제곱 재구성)에서 taboo 정확도는 6.2~12.6%에 머물고 joint 오라클은 23.7%다. 최선인 동등 가중 선형 병합은 창발 taboo 정확도의 53%를 회복하지만 훈련된 분류 정확도는 84%를 회복한다. 이 창발 능력은 초가산적이다. 어느 부모도 taboo 정확도 9.5%를 넘지 못하는데 joint 오라클은 23.7%에 도달한다. 부모로부터 joint 델타를 최적으로 재구성하는 전역 계수 (α, β)를 풀어도 joint 델타 제곱 노름의 37%(Qwen3-8B), 30%(Gemma-2-9B-IT)만 포착되고, 모듈마다 자기 계수를 허용해도 40%/33%로만 오른다. 부모들은 거의 직교(cos=0.08/0.04)라 이는 더 똑똑한 병합으로 풀릴 간섭 문제가 아니라 도달 가능성 문제다. 부모의 span에 사영한 잔차(ΔW_joint − proj)를 단독 적용하면 모든 비밀 단어에서 0%로 그 자체로는 쓸모없지만, 이를 다시 더하면 능력이 완전히 회복된다. γ를 0(9.7%)에서 1(23.7%)로 보간하면 taboo 정확도가 단조 증가하고 두 끝점을 잇는 직선에서 최대 1.4포인트만 벗어난다(n=4265, 누출 필터링 프롬프트).

전제와 한계

세 번째 결과는 한쪽 부모에만 창발 능력이 있을 때다. EM 체크포인트를 무관한 선량한 어댑터로 희석하면 네 체크포인트와 모든 희석 수준에서 창발 보존율이 훈련 능력 보존율보다 항상 낮거나 기껏해야 같고, 중간 희석 구간에서는 유의하게 낮다. 보존 격차(훈련 보존 − 창발 보존)의 95% 구간은 28개 셀 중 22개에서 완전히 0보다 크고, 0보다 작은 셀은 하나도 없다. Qwen2.5-14B bad-medical에서 격차는 λ=0.1의 +8포인트에서 λ=0.4의 +27포인트로 커진다(창발 보존 10% 대 훈련 보존 37%). 훈련 능력이 원래 값의 절반 이상을 유지하는 실용 구간 λ∈[0.1,0.3]으로 제한하면 16개 셀 중 11개에서 유의하고 역전은 없다. Llama 체크포인트에 수학·검색 어댑터 두 개를 더해 반복해도 28개 중 22개가 유의하게 양수이고 역전은 없으며, 합치면 56개 중 44개다. 노름 맞춤 없이 자연 스케일로 병합해도 수학 어댑터에서는 차이가 유지되고, 강하게 정렬하는 검색 어댑터는 10% 혼합만으로 두 능력을 동시에 제거해 측정할 동역학 범위 자체가 사라진다. 정렬·일관성 컷오프 격자에서 전체를 재계산해도 어느 임계값에서도 셀이 역전하지 않는다. 능력이 어디에 사는지도 확인했다. Qwen2.5-14B에서 체크포인트 델타의 가장 큰 25% 항목만 남기면 창발 74%, 훈련 86%가 보존되지만 무작위로 25%를 남기면 아무것도 남지 않는다. 50%에서도 무작위 유지는 창발 1%인데 크기 기준 유지는 88%다. 오라클에서도 창발을 나르는 out-of-span 성분이 상위 10분위에 에너지 48%를 유지해 in-span 성분의 38%보다 높다. 다섯 밀도와 세 시드의 무작위 부분집합 30개 중 30개에서 훈련 보존이 창발 보존을 앞선다(24개는 유의).

개발자에게 주는 함의는 직접적이다. 의심스러운 모델을 선량한 모델들의 혼합에 병합하면 광범위하고 눈에 띄는 정렬 이탈이 먼저 사라지고 좁은 훈련된 유해성은 남는다. 그래서 병합 모델은 실제보다 안전해 보인다. 반대로 바람직한 창발 능력은 그것을 개별적으로 결여한 부품들로는 조립할 수 없다. 감사는 개별 아티팩트에 붙지만 배포되는 것은 여러 아티팩트의 합성인 경우가 많고, 그 감사 결과는 이전되지 않는다. 병합 규칙을 고를 때는 선형과 DARE가 대부분을 보존하고, 과제 성능 유지를 내세우는 간섭 인식 규칙(TIES 등)이 두 종류 능력 모두에 가장 파괴적이며 창발 능력에 다소 더 선택적이다.

저자들이 밝힌 전제와 한계도 분명하다. 병합 대상은 동결된 베이스 모델 위의 LoRA 어댑터이고 실험 전체가 LoRA 공간 병합을 다루며, 전체 모델의 풀 가중치 보간은 테스트하지 않았다(부록 A에서 한계로 언급). 두 테스트베드는 단일 어댑터가 훈련된 능력과 측정 가능한 창발 능력을 동시에 나르는 공개 어댑터 패밀리로, 이것이 베이스 모델과 도메인을 고정한다. 창발 능력의 정의도 행동적·어댑터별 관점으로, 어댑터가 훈련받지 않은 홀드아웃 분포에서 측정 가능한 것으로 한정한다. 보존율은 서로 다른 지표를 각자의 바닥값 기준으로 정규화한 값이라 지표 선택에 의존하고, 정렬 이탈 지표는 연속 심판 점수를 임계값으로 자르기 때문에 임계값 격자 재계산으로 검증했다는 점도 함께 읽어야 한다.