Cortex가 문맥이 준 성능 이득을 파라미터 메모리로 굳힌다

무엇인가

문맥(context)은 대형 언어모델의 성능을 끌어올리지만, 그 문맥을 걷어내면 이득도 함께 사라진다. 프롬프트에 예시를 넣거나 검색으로 문서를 붙이거나 지침을 덧붙여 얻은 향상은 그 입력이 사라지는 순간 모델 가중치에 아무것도 남기지 못한다. 이 논문은 이 문제를 메모리 통합(Memory Consolidation, MC)이라는 하나의 목표로 정식화한다. 문맥이 만들어낸 이득을 모델 안으로 내재화하면서, 원래 잘하던 비표적 능력은 그대로 유지하는 것이 목표다. 저자들은 문맥으로 지정된 지식 편집, 기술 학습, 행동 조종이라는 서로 달라 보이는 작업들이 사실 같은 목적 함수 아래 놓인다고 본다. 생물학적 기억 통합에서 착안한 관점이다.

어떻게 동작하나

Cortex는 문맥이 앞으로 어디에 쓰일지를 미리 예상하는 질의를 스스로 생성한다. 그 질의에 대해 문맥이 주어진 상태의 출력을 만들어내고, 이 출력을 저랭크(low-rank) 또는 구조적(structural) 피드포워드 네트워크 업데이트로 증류한다. 즉 문맥을 추론 시점의 조건으로만 쓰는 대신, 문맥이 유발한 입출력 패턴을 가중치 변경분으로 옮겨 담는다. 업데이트가 병합 가능(mergeable)하다는 점이 구조의 핵심이다. 여러 문맥을 하나씩 순차적으로 흡수하든 묶음으로 한꺼번에 흡수하든, 만들어진 업데이트를 가중치 수준에서 합칠 수 있다.

무엇과 다른가

평가를 위해 다섯 개 과제군으로 구성된 테스트베드를 제안한다. 단일 업데이트, 배치 업데이트, 순차 업데이트라는 세 가지 시나리오에서 통합(consolidation)과 보존(retention)을 함께 측정한다. 통합은 문맥이 준 이득을 얼마나 되찾았는지를, 보존은 원래 갖고 있던 비표적 능력을 얼마나 지켰는지를 본다. 두 축을 동시에 재는 것이 이 테스트베드의 요점이다.

어떻게 쓰나

실험은 4B에서 120B까지의 dense 및 mixture-of-experts 백본, 텍스트 전용과 멀티모달 모델을 아우른다. 대부분의 평가 설정에서 Cortex가 경험적 통합–보존 파레토 프런티어에 놓인다고 보고한다. 특히 14B 모델에서 사실 편집을 50회 순차 수행한 뒤, Cortex-Structural은 문맥이 유발한 이득의 88.9%를 회복하면서 원래 비표적 성능의 99.8%를 유지했다.

전제와 한계

실무적으로 이 논문은 RAG나 긴 시스템 프롬프트로 처리하던 지식·행동 주입을 가중치 업데이트로 옮길 수 있는지 판단하는 기준이 된다. 검토할 때는 몇 가지를 확인해야 한다. 업데이트가 실제로 병합 가능한지, 순차 편집을 반복할 때 누적 드리프트가 어떻게 쌓이는지, 비표적 성능이 어느 수준까지 유지되는지, 그리고 자신이 쓰는 백본 규모와 구조(dense인지 MoE인지)에서도 같은 경향이 나오는지다. 멀티모달 백본까지 포함했다는 점은 텍스트 외 입력을 다루는 파이프라인에서도 참고할 만하다.

초록이 밝힌 범위에서 주의할 점도 분명하다. "대부분의 평가 설정에서" 파레토 프런티어라는 표현은 모든 설정에서 최선이라는 뜻이 아니며, 일부 설정에서는 다른 방법이 통합이나 보존 한쪽에서 더 나을 수 있다는 여지를 남긴다. 88.9%와 99.8%라는 수치는 14B 모델과 50회 순차 사실 편집이라는 특정 조건에서 나온 결과이므로 다른 규모나 다른 과제에 그대로 옮겨 기대하면 안 된다. 또한 다섯 과제군 테스트베드는 저자들이 직접 제안한 평가 틀이며, 이 틀 밖의 벤치마크로 일반화되는지는 초록에서 확인되지 않는다.