학습 중에만 쓰는 기억으로 전체 미세조정 신경망의 망각을 막는다

무엇인가

이 논문이 다루는 것은 클래스 증분 학습(class-incremental learning)에서의 파국적 망각이다. 태스크가 순서대로 들어오고, 각 태스크는 새 카테고리만 가져오며, 학습 중에는 현재 태스크 데이터만 보이고, 평가 때는 태스크 ID 없이 지금까지 본 모든 카테고리에 답해야 한다. 저자들이 든 예가 극적이다. Llama-3.1-8B가 TACRED의 40개 관계를 8개 태스크로 나눠 평범한 미세조정으로 배우면, 첫 태스크 문제의 97.5%를 학습 직후 맞히지만 태스크 하나만 더 지나면 0%가 된다. 전체 태스크 평균으로는 37.6%(3회 실행)에 그친다. 기존 해법은 셋으로 갈린다. 이전 예시를 저장·생성하는 리플레이, 이전 모델을 복사해두는 증류, 백본을 얼리고 프롬프트·어댑터·LoRA·분류기만 학습하는 동결이다. 대형 사전학습 모델에서는 동결이 사실상 기본값이지만, 저자들은 동결이 사전학습이 이미 갖고 있던 표현이 앞으로 올 클래스를 분리해 줄 때까지만 유효하다고 지적한다.

어떻게 동작하나

제안 방법 DeltaHippo는 뇌의 보완 학습 시스템에서 착안한 노동 분업을 따른다. 신경망 전체가 피질(cortex)로, 모든 파라미터 텐서가 매 태스크 학습된다. 출력 헤드, 입력 임베딩 행렬, 정규화 게인까지 예외가 없다. 히포캠퍼스 역할은 학습 중에만 살아 있는 메모리가 맡고, 테스트 시점에는 통째로 제거된다. 이 메모리는 '시냅스 그룹' 단위로 작동한다. 시냅스 그룹이란 같은 입력 텐서를 읽는 선형 사상들의 집합으로, 그 변화가 이전 출력을 바꾸는 경로의 단위다. 이 정의 덕분에 트랜스포머든 CNN이든 같은 원리를 적용할 수 있다.

무엇과 다른가

절차는 수면(sleep)과 각성(wake) 두 국면으로 나뉜다. 수면은 각 태스크가 끝날 때 그 태스크의 학습 데이터만 다시 읽는 gradient-free 인코딩 단계다. 시냅스 그룹마다 입력의 2차 모멘트 행렬을 고유분해하고, 데이터 의존적 컷오프를 넘는 방향만 남겨 Gated DeltaNet의 gated delta 규칙으로 메모리에 병합한다. 메모리가 보관하는 것은 저랭크 부분공간 U와 그 에너지 λ, U 바깥의 평균 잔차 에너지 τ, 태스크의 노이즈 플로어 f, 그리고 클래스별 평균 답변 상태와 입력 패턴이다. 문장도, 로짓도, 정답 토큰 ID도 저장하지 않고 이전 태스크를 다시 읽지도 않는다. 각성 단계에서는 다음 태스크를 배우는 동안 모든 스텝이 닫힌 형태의 연산자를 통과한다. 기억된 방향마다 플라스틱성 계수 f/(f+μλi)가 붙어 저장된 에너지와 과거 경험량 μ가 클수록 변화가 줄고, U 바깥 방향에는 잔차 플로어 f/(f+μτ)가 적용된다. 중요한 설계는 이 제약을 그래디언트와 Adam이 실제로 만든 업데이트 양쪽에 건다는 점이다. Adam의 좌표별 정규화가 제약된 그래디언트를 보호된 방향으로 다시 회전시켜 버리기 때문이다(Proposition 1).

어떻게 쓰나

여기에 충돌 감지가 얹힌다. 정답 토큰 위치마다 네트워크의 답변 상태를 이전 클래스 기록과 비교해, 그 클래스의 가장 가까운 다른 클래스보다 더 가까이 놓이면 충돌로 본다. 상태만 읽고 토큰 ID는 보지 않는다. 충돌이 잡히면 세 가지가 작동한다. 업데이트 게이트가 스텝 적용 확률을 낮추고, 비교기(comparator)는 이전 클래스 패턴으로 설명되지 않는 입력 부분만 학습하며, 공유 목표(joint-share target)는 새 클래스가 이전 근접 중복 클래스와 공유하던 결정 영역을 빼앗지 못하게 한다. 테스트 시점에는 평범한 모델이 혼자 답한다.

전제와 한계

실험은 10개 모델, 6개 벤치마크다. TACRED·FewRel·Banking77·CLINC150에는 디코더 언어모델과 텍스트 인코더를, CIFAR-100·ImageNet-R에는 ViT-B/16과 ResNet-50을 쓴다. 결과는 순차 미세조정 대비 모든 셀에서 앞선다. 언어모델 +25~63점, 인코더 +39~77점, 비전 +41~67점이다. 부분공간 제약 전체 미세조정인 Sculpting Subspaces와 CODE-CL도 모든 셀에서 4.2~46.7점 차로 이긴다. 백본을 얼린 SEQ*와 비교하면 언어모델 24개 셀 중 19개, 인코더 전 셀(18~33점 차), 비전 4개 셀 중 3개에서 앞선다. 격차는 태스크에 따라 다른데 TACRED에서 평균 +17.5점, Banking77 +6.4점, FewRel +3.9점, CLINC150은 동률이다. 백본은 실제로 계속 변한다. 순차 미세조정이 이전 태스크의 0~38%만 남기는 반면 DeltaHippo는 63~95%를 유지하면서 새 태스크도 모두 습득한다. ViT-B/16 ImageNet-R에서 태스크 0 이후 백본을 얼리면 같은 방법이 10.9점 낮게 끝난다.

분석은 왜 효과가 나는지를 절제 실험으로 쪼갠다. Llama-3.2-1B·TACRED에서 클래스 조건부 요소를 전부 제거한 '클래스 없는 코어'만으로도 전체 이득 36.5점 중 32.0점을 낸다(67.1±2.2 대 71.6±0.5). 코어는 클래스 레이블을 전혀 읽지 않는다. 설계 조건 두 개가 결정적이다. 그래디언트만 제약하고 Adam 업데이트를 그대로 쓰면 유지율이 82.1에서 60.3으로, 최종 정확도가 9.4점 떨어지고, 업데이트만 제약하면 유지율 53.1, 정확도 15.2점 하락이다. 또 메모리가 저장하지 않은 잔차 부분공간을 '자유'로 열어두면 유지율이 79.2로 내려가지만 잔차 플로어를 유지하면 82.9로 지켜진다. 충돌 감지의 효과는 평균 정확도에 묻히므로 흡수(absorption)를 직접 측정한다. TACRED 40개 관계 중 15개가 근접 중복을 갖고 그중 8개가 먼저 학습되는데, 비교한 모든 방법이 그 앞쪽 클래스를 DeltaHippo보다 적게 맞히고(0.9~63.0% 대 76.6%), 나중 근접 중복으로 3~14배 더 많이 흡수한다(9.0~40.5% 대 2.8%). 비교기를 끄면 최종 정확도가 71.6에서 58.7로 떨어진다. 마지막 발견은 '분리 가능하지만 쓸 수는 없다'는 것이다. 학습 없이 새로 맞춘 프로브는 이전 클래스를 여전히 분리하지만 모델 자신의 생성은 80~82점 무너진다. 지식은 남아 있는데 접근 경로가 끊긴다는 뜻이고, 그래서 백본과 출력 헤드를 함께 조율해야 한다(백본만 53.6±11.0, 헤드만 12.1±0.2, 전체 71.6±0.5).

개발자 입장에서 이 방법의 실용적 매력은 서빙 비용이 그대로라는 점이다. 추론 시 메모리를 참조하지 않고, 태스크 ID도 요구하지 않으며, 태스크별 백본 확장 없이 새 클래스에 필요한 출력 행만 추가한다. 대가는 학습 쪽에 몰린다. 학습 스텝이 평범한 미세조정의 1.25~1.33배(Llama-3.2-1B에서 TACRED 평균 0.24초 대 0.18초, 8B에서 0.32~0.71초)이고, 태스크마다 오프라인 수면이 한 번 붙는다(1B에서 태스크당 15~38초, Llama-3.1-8B에서 TACRED 70~95초, CLINC150 63~139초). 메모리 사용량도 작지 않아 1B에서 약 2GB, Llama-3.1-8B에서 TACRED 후 11.2~11.5GB, CLINC150 후 23.8~26.2GB다. 학습률·배치 규칙은 모델 패밀리와 크기에 맞춰 한 번 고정하고 모든 벤치마크에 그대로 쓴다. 코드는 github.com/kkt94/deltahippo에 v1.0으로 공개돼 있다.

저자들이 밝힌 전제와 한계도 분명하다. 연산자는 아키텍처 구조마다 따로 적합해야 하고(어느 선형 사상이 하나의 시냅스 그룹을 이루는지, 손실이 어디로 들어가는지, 분류기를 어떻게 보호하는지), 압축 메모리의 여집합은 빈 공간이 아니라 과거 입력이 에너지를 남긴 곳이므로 잔차 플로어 없이는 안 된다. 소거(erase) 연산은 메모리를 포화시키는 긴 태스크 시퀀스를 염두에 둔 설계이며, 적용된 Adam 스텝은 국소 대리 목적함수의 정확한 최소화가 아니라는 점도 명시한다. 히포캠퍼스 유비는 해부학적 모델이 아니라 기능적 설계 원리로만 쓰였다. 또한 리플레이 베이스라인과의 비교는 메모리 크기가 아니라 '각 방법이 무엇을 보관할 수 있는가'를 기준으로 한 비교임을 밝힌다.