고정 언어모델이 대화를 파라미터에 저장해 외부 메모리 없이 회상한다

무엇인가

이 논문은 대화가 길어질 때 언어모델이 대화 내용을 모델 밖의 KV 캐시나 검색 인덱스에 보관하고, 그 저장소가 턴이 늘수록 커지는 구조를 문제로 삼는다. 저자들은 외부 메모리가 없고, 앞으로 올 질문과 정답도 모르는 환경에서 고정된 모델이 각 사용자 턴을 파라미터에 저장한 뒤 나중 질문에 파라미터만으로 답할 수 있는지를 묻는다. 이는 검색이나 롱컨텍스트 시스템을 개선하려는 목적이 아니라, 대화의 파라미터 내재화가 원리적으로 가능한지 확인하려는 연구다. 전제는 경사 미세조정 없이 저장하고, 회상 시 외부 메모리를 쓰지 않으며, 저장된 턴 수와 무관하게 고정 크기의 저장 결과를 유지하고, 모델의 일반 동작을 보존한다는 것이다. 저자들은 유용성에도 불구하고 KV 캐시를 의도적으로 배제한다.

어떻게 동작하나

제안 방법인 SKIM은 대화 턴을 짧은 연속 텍스트인 스팬 단위로 나눠 저장한다. 먼저 모델이 턴이 말하는 사실을 나열하게 해 후보 스팬을 얻고, 인용된 제목과 대문자 엔티티 구절도 직접 후보로 삼은 뒤 몇 단어짜리 짧은 스팬만 남긴다. 각 스팬은 자기 질문으로부터 얼마나 잘 복원되는지와 중립 프롬프트 아래에서 얼마나 특이한지를 결합한 점수로 순위가 매겨지고, 미래 질문을 모르므로 상위 k개 스팬을 후보 값으로 남긴다. 키는 각 스팬의 답이 되는 질문을 여러 고정 스타일로 생성해 만들며, 같은 턴의 경쟁 스팬보다 해당 스팬을 더 잘 구분하는 질문을 고른다. 경쟁 스팬의 표면형을 제거한 뒤 Which를 What으로 바꾸거나 이전 답을 인용하는 식의 문자열 변형으로 키를 확장해, 나중에 다르게 표현된 사용자 질문도 저장된 키 중 하나와 유사해지도록 한다. 이 자기생성 질문 키가 기존 가중치 편집이 요구하던 고정된 주어-관계 큐를 대체한다.

무엇과 다른가

설치 단계에서 SKIM은 트랜스포머 피드포워드 층의 다운프로젝션을 키-값 메모리로 취급한다. 각 질문을 고정 회상 프레임에 넣고, 답 위치에서 다운프로젝션에 들어가는 은닉 상태를 키로 삼는다. 값은 해당 스팬이 프레임의 연속이 되도록 만드는 잔차 출력 델타이며, 가중치는 고정한 채 짧은 경사 최적화로 찾고 강도 f로 조절한다. 모든 질문-스팬 쌍은 릿지 정규화된 닫힌형 해 ΔW = D(K^T K + λI)^(-1) K^T로 한 번에 맞춰져 하나의 중후반 피드포워드 다운프로젝션에 더해진다. 저장 키와 무관한 입력에는 추가 항이 작게 작용해 기본 동작이 보존되고, 나중 질문이 저장된 키를 형성하면 해당 값이 잔차 스트림에 기여해 스팬이 출력된다. 회상은 편집된 모델에서 질문을 같은 프레임으로 넣고 짧은 토큰 예산으로 디코딩하는 단일 순전파다. 층, 강도, 디코딩 프리셋, 키 예산은 정답이나 미래 질문 없이, 각 항목의 자기생성 질문을 아직 쓰지 않은 바꿔 말한 질문으로 자체 프로브해 스팬이 깨끗하게 나오는 비율을 최대화하도록 선택한다. 순차 저장에서는 청크마다 이전 편집을 버리고 원래 가중치에서 지금까지의 모든 쌍을 다시 풀어, 도착 순서나 묶음에 무관하게 배치 편집과 같은 ΔW를 얻는다. 단순 누적 덧셈이 일으키는 이전 턴의 드리프트를 피하는 방식이며, 저장 결과는 고정 크기 행렬로 유지된다. 다만 재계산 비용은 턴이 쌓일수록 커지고, 청크당 한 번 오프라인으로 실행된다.

어떻게 쓰나

실험은 LongMemEval의 단일 세션 사용자 하위 집합에서 수행됐다. 각 질문에 대응하는 정답 포함 사용자 턴을 저장할 사실로 삼고 숫자 정답 질문을 제거해 33개의 비수치 사실을 남겼으며, N을 4에서 32까지 늘리며 원래의 홀드아웃 질문으로 회상률을 측정했다. 정답은 정규화된 정답 문자열이 생성문에 포함되고 양방향 DeBERTa-MNLI 게이트가 함의를 인정할 때 정답으로 간주했다. 모델은 Qwen3 14B, Mistral-Nemo 12B, Yi-1.5 9B, Llama-3 8B, Mistral 7B의 다섯 개다. N=32에서 KV 캐시와 정답-질문이 주어진 True-Q 조건은 약 90~100%, 정답은 주고 자기생성 질문을 쓴 Self-Q는 80% 이상을 기록했고, 정답도 미래 질문도 없는 SKIM은 46.9~75.0%를 보였다. 다섯 모델 평균은 63.1%, 최고는 Qwen3의 75.0%, 최저는 Mistral의 46.9%였으며, 외부 메모리를 모두 제거한 no-cache 바닥은 3.1~15.6%였다. 정답을 고정한 채 진짜 질문을 자기생성 질문으로 바꾸면 평균 약 6.88%포인트 하락해 약 91.3%가 남았고, 정답을 자기추출 스팬으로 바꾸면 평균 약 26.9%포인트 하락해 약 63.1%가 남았다. N이 커져도 회상률은 급락하지 않고 점진적으로 감소했으며, Qwen3는 32개 중 8개, Mistral은 17개를 회상하지 못했다. 스트리밍 저장과 배치 저장의 회상률은 모든 모델과 모든 N에서 항등선에 겹쳤다.

전제와 한계

실패 분석은 병목이 회상이 아니라 저장 시점의 스팬 추출과 선택임을 보여준다. 다섯 모델의 59개 실패 중 정답이 후보 스팬에 아예 없는 missing이 22개, 같은 턴의 경쟁 스팬이 대신 저장된 selection이 22개, 다른 사실을 검색한 routing이 0개, 올바른 값을 찾았지만 생성이 무너진 decoding이 15개였다. missing과 selection이 전체의 약 4분의 3을 차지했고 routing은 전 모델에서 0이어서, 닫힌형 키가 의도한 사실에 도달하는 주소 지정 자체는 실패 지점이 아니었다. selection은 Mistral-Nemo와 Yi-1.5에서 우세했고, Yi-1.5는 32개 중 29개에서 정답 스팬을 추출한 뒤 경쟁 스팬을 더 높게 순위화한 사례가 있어 2개 missing, 7개 selection을 보였다. missing은 나머지 세 모델에서 우세했고 Llama-3는 7개 missing, 3개 selection이었다. 키 기하 조정, 키 예산 확대, 층과 정규화 재조정, 빔 확대와 정지 기준 정렬 등 13가지 개입도 selection 결과를 바꾸지 못했다. 정답 유형별로는 고유명사 답이 81.1%, 'a lighter shade of gray' 같은 서술형 다단어 답이 36.9%로 약 44%포인트 차이가 났고, 최근 위치의 회상 저하는 위치 자체보다 그 위치에 서술형 사실이 더 많이 몰린 데서 생긴 것으로 분석됐다. 즉 어려움은 저장이나 주소 지정이 아니라 서술형 다중 토큰 스팬의 자기추출과 재현에 집중된다.

개발자 관점에서 이 방법은 고유명사나 짧은 엔티티처럼 경계가 뚜렷한 답을 가진 장기 대화 기억에는 흥미로운 선택지다. 외부 세션 텍스트나 검색 인덱스를 회상 시점에 유지하지 않고, 고정 크기의 파라미터 편집 하나와 단일 순전파로 답한다는 점은 메모리 비용을 예측 가능하게 만든다. 반면 날짜나 개수 같은 숫자 답, 경쟁 스팬이 많은 서술형 답, 예상하지 못한 표현의 질문에는 약하다. 저자들도 미래 질문이 다르게 표현되면 키가 형성되지 않아 값을 회상하지 못할 수 있고, 숫자는 특이성 점수에서 잘 선택되지 않으며 정확한 자릿수 재현도 어렵다고 밝힌다. 또한 기존 가중치 편집 방법은 정답과 질문을 미리 주는 환경이라 직접 비교 대상이 아니며, True-Q 조건이 그 상한을 보여준다고 설명한다. 실무에 적용하려면 자체 도메인에서 고유명사 중심 질문과 서술형 질문을 나눠 평가하고, 모델별 층과 강도, 키 예산을 자체 프로브로 다시 고르며, 저장 시 재계산 비용이 턴 수에 따라 커진다는 점을 운영 비용에 반영해야 한다.