구글 연구진이 LLM에 각성과 수면을 번갈아 부여하는 지속 학습 프레임워크를 제안했다

구글 리서치가 대규모 언어모델의 지속 학습(continual learning)을 다루는 '수면(sleep) 프레임워크'를 공개했다. 핵심은 모델을 배포 시점에 고정된 지식으로 멈춰 세우지 않고, 입력을 적극적으로 처리하는 활성 단계와 새 입력을 멈추고 내부 정리에 집중하는 오프라인 단계를 주기적으로 오가게 만드는 것이다. 저자들은 이 순환이 새 사실을 계속 받아들이면서도 이전에 익힌 능력을 무너뜨리지 않게 해준다고 설명한다.

수면 단계는 두 갈래로 나뉜다. 첫째는 기억 고정화다. 모델은 미리 할당해 둔 전문가 혼합(MoE) 메모리 블록을 열어 저랭크 전문가를 새로 붙이고, 이를 통해 기존 파라미터를 건드리지 않으면서 용량을 늘린다. 이 구조는 Hope 아키텍처 위에서 동작하며, 새 지식은 상대적으로 낮은 주파수의 안정적인 메모리 층으로 흘러 들어간다. 둘째는 꿈꾸기 단계로, 뒤에서 따로 다룬다.

단기 기억을 장기 기억으로 옮기는 통로는 증류다. 활성 단계에서 문맥 창에만 머물던 취약한 정보를 새로 확장된 장기 파라미터로 넘기기 위해, 일반화 지식 증류(GKD)와 강화학습 기반 모방 학습을 조합한다. 모델이 스스로 생성한 시퀀스 위에서 교사 분포의 토큰별 피드백을 받는 온폴리시 증류가 한 축이고, 교사가 만든 텍스트의 앞부분을 이어 쓸 때 의미적 유사도와 레벤슈타인 거리 기반의 절대적 유사도를 함께 보상으로 받는 '모방 학습(LTI)'이 다른 축이다. 고정화가 끝나면 고주파 임시 파라미터는 초기화된다. 저자들이 시냅스 프루닝(synaptic pruning)이라 부르는 이 정리 작업이 다음 활성 세션을 위한 공간을 만든다.

꿈꾸기 단계에서는 MoE 라우터가 일부러 평소와 다른 전문가를 무작위로 깨운다. 서로 무관한 지식 영역을 섞어 보게 함으로써 잠재 패턴을 끌어내려는 의도다. 모델은 이렇게 합성한 학습 샘플을 스스로 만들어내고, 그레이디언트 기반 데이터 선택으로 성능 향상 가능성이 큰 샘플만 걸러 슈퍼바이즈드 파인튜닝에 쓴 뒤 다운스트림 과제에서 실제 개선이 있었는지 평가한다.

저자들이 내세우는 결과는 세 가지다. 새로운 사실의 지속 습득, 최대 1000만 토큰 규모의 장문맥 지식 유지, 그리고 복잡한 추론 성능의 향상이다.

배경에는 기존 방식의 뚜렷한 한계가 있다. 사전학습과 문맥 내 학습(ICL)만으로는 배포 이후 모델이 사실상 정지 상태로 남는다. 새 데이터로 파라미터를 계속 업데이트하면 치명적 망각이 따라붙고, 그렇다고 ICL에만 의존하면 문맥 세션이 끝나는 순간 습득한 정보도 사라진다. 연구진은 인간 뇌가 휴식 중에 기억을 정리하고 안정화하는 방식에서 착안해 이 두 문제 사이의 빈틈을 메우려 했다.

이론적 설명도 함께 내놨다. 고정화는 단기 흔적의 세부를 그대로 복사하는 작업이 아니라, 모델 자신의 온폴리시 행동과 학습 목표가 보상하는 의미적 특성을 함께 보존하는 압축된 방향 집합을 찾는 저랭크 압축 문제로 볼 수 있다는 것이다. 꿈꾸기 쪽은 무작위 전문가 활성화가 탐색하는 그레이디언트 방향의 폭을 넓히고, 그레이디언트 기반 필터링이 유용한 신호를 강조해 최적화 지형의 균형을 잡아준다고 해석한다.

개발자 관점에서 눈에 띄는 대목은 모델 아키텍처와 코드베이스를 바꾸지 않은 채 배포된 모델이 스스로 후처리 학습을 돌린다는 점이다. 미리 확보해 둔 MoE 메모리 블록을 쓰고, 사람이 정의한 학습 규칙 안에서 합성 데이터 생성과 평가가 자동으로 이뤄지는 구조라, 서빙 중인 모델의 지식 갱신 파이프라인을 설계할 때 참고할 만한 패턴을 제시한다.

다만 '수면'이나 '꿈' 같은 용어는 신경과학에서 빌려온 비유일 뿐, 실제로는 고정된 아키텍처와 사람이 정한 규칙 위에서 도는 계산 절차다. 용량 확장을 전제로 하므로 사전에 할당된 MoE 블록이 없는 모델에는 그대로 적용하기 어렵고, 공개된 내용은 연구 단계의 프레임워크와 실험 결과라는 범위에서 읽어야 한다.