Imprint Reader가 가중치 업데이트를 읽어 모델 행동을 교정한다

무엇인가

언어모델이 스스로 학습 과정을 되돌아보고 그 결과를 다음 개선에 쓰려면, 먼저 자신의 파라미터에 남은 변화를 명시적으로 읽어낼 수 있어야 한다. 하지만 기존 연구는 가중치 공간에서 정확도나 파인튜닝 과제 같은 거친 속성만 예측하거나, 좁은 목적에 맞춰 만든 어댑터로 가중치 차이를 말로 풀어내는 데 그쳤다. 후자의 경우 정보가 전혀 없는 업데이트에도 그럴듯한 설명을 지어내는 문제가 있었고, 읽어낸 내용을 실제 행동 교정으로 연결하는 경로도 없었다. 이 논문은 그 방향을 뒤집어, 개별 파인튜닝 모델마다 어댑터를 붙이는 대신 하나의 완성된 모델인 Imprint Reader가 고정된 가중치 업데이트를 자기 파라미터에 얹고, 그 업데이트가 담은 사실 지식이나 행동 변화를 자연어로 서술하도록 훈련한다.

어떻게 동작하나

핵심 절차는 Semantic Mount-and-Read Tuning(SMaRT)이라 부르는 에피소드식 훈련이다. 먼저 학습 목표 k에 대해 같은 목표를 구현하는 질문-답변 집합을 만들고, 원본 파라미터 θ0에서 출발한 임시 모델을 이 데이터로 학습시켜 차이 Δθk = θk(T) − θ0만 남긴다. 이 질문-답변 쌍은 Reader에게 절대 보여주지 않으므로, 에피소드 안에서 k에 대한 정보를 담은 유일한 매체는 이 델타 가중치뿐이다. 다음으로 Reader 파라미터 θR에 델타를 좌표 정렬 방식으로 얹어 θ̃R,k = θR ⊕ Δθk를 만들고, 목표와 독립적으로 샘플링된 앵커 없는 메타 질의 m을 주고 정답 서술 k를 목표로 읽기 손실 −log p(k | m, θ̃R,k)를 계산한다. 역전파는 θR에만 흐르고 얹힌 델타는 고정된 채이며, 기울기 계산이 끝나면 델타를 떼어낸다. 여기에 변화가 없는 제로 업데이트와 목표와 무관한 무작위 섭동 업데이트를 대조 에피소드로 함께 학습시켜, 읽을 내용이 없을 때는 서술을 지어내지 않고 보류하도록 만든다. Reader는 부모 모델과 같은 파라미터 좌표를 공유하므로, 이 읽기 신호의 기울기는 곧 원본 모델을 건드릴 수 있는 개입 신호가 된다.

무엇과 다른가

실험은 Qwen3-14B 하나를 부모로 삼아 진행했다. 지식 항목 8,592개와 행동 항목 8,592개로 업데이트를 만들었고, 지식은 학습 전에는 답하지 못하다가 학습 후 답하는 항목만, 행동은 지정된 반응 경향이 실제로 나타난 업데이트만 남겼다(495개는 이 검사를 통과하지 못했다). 업데이트 생성기는 학습률 2×10⁻⁵로 64 스텝, LoRA 랭크 최대 256을 사용했고, Reader는 8개 GPU에서 학습률 10⁻⁴, 코사인 스케줄, 워밍업 0.1로 최적화했으며 배치 64개 에피소드는 지식 24, 행동 24, 무변화 8, 무작위 섭동 8로 구성했다. 메타 질의는 224개 프롬프트 풀에서 뽑았다. 학습에 쓰지 않은 업데이트에 대한 판정 결과는 스텝 2,800에서 Pass@100이 지식 2%, 행동 16%였다. 같은 유형의 다른 업데이트로 바꿔 끼운 경우보다 정답 NLL이 0.1255 낮았다는 점이 업데이트 특이적 읽기의 근거로 제시된다.

어떻게 쓰나

읽기에서 끝나지 않고 개입으로 이어지는 부분이 MetaEdit이다. 목표 행동 서술 b에 대해 Reader 위에서 계산한 기울기 gb = ∇θR[−log p(b | m, θR)]는 부모 모델과 좌표가 같아 그대로 전이된다. 안전 유지 목표와 거부 완화 목표 두 가지 서술을 만들고, 기울기 크기와 방향으로 선택한 출력 행을 0으로 만드는 프루닝을 원본 Qwen3-14B에 적용했다. 0.5% 프루닝 예산에서 안전 유지 목표는 유해 프롬프트 거부율을 원본 57.9%에서 64.1%로 올렸고, 거부 완화 목표는 55.4%로 낮췄다. SetDiff, WANDA, ActSVD, Random 같은 기준선들은 두 목표를 구분하지 못했고, 훈련된 Reader 대신 원본 모델에서 기울기를 뽑은 MetaEdit(Base)도 같은 분리를 만들지 못했다. WANDA와 ActSVD는 프루닝 후 출력이 크게 깨진 반면 MetaEdit 조건의 손상률은 거의 0이었다.

전제와 한계

더 미세한 반응 경향을 옮기는 실험은 vibe alignment라 부른다. 구체적 절차를 명시한 자기보고 서술로 선택된 행만 θ0'[I_b] = θ0[I_b] − α gb[I_b]처럼 부호 있는 업데이트를 가했다. GSM8K는 94.77%에서 95.00%로, MATH-500은 82.8%에서 83.0%로 올랐고, BFCL은 Agentic 점수가 15.93%에서 22.30%, Overall이 41.69%에서 44.60%로 상승했다. 생성된 추론 흔적에서 되돌아보기 표현은 1000토큰당 0.327에서 0.687로, 하위 목표 표현은 5.390에서 6.015로 늘었다. 다만 개선은 균일하지 않아 MetaEdit(Broad)가 Overall 43.68%로 Multi-turn에서 앞섰고, Direct Prompt는 Live와 Hallucination에서, 편집하지 않은 Qwen3-14B는 Non-live에서 가장 좋았다. 이 실험들은 목표 과제의 학습 데이터를 전혀 쓰지 않고 행동 서술만으로 개입했다는 점이 특징이다.

실무 관점에서 이 논문이 제시하는 것은 두 가지다. 첫째, 파인튜닝된 모델의 가중치 차이를 사람이 읽을 수 있는 형태로 확인하려는 시도는 아직 신뢰할 수준이 아니라는 점이다. 지식 읽기 Pass@100 2%는 실제 배포 판단에 쓰기 어렵다. 둘째, 자연어 서술이 완벽하지 않아도 Reader의 목표 조건부 우도 기울기는 쓸 만한 개입 신호가 된다는 점이다. 안전 경계 유지처럼 목표를 문장으로 지정하고 소량의 행 프루닝이나 부호 편집을 하고 싶을 때, 목표 과제 데이터 없이 시도할 수 있는 경로를 보여준다. 다만 프루닝률, 업데이트 강도, 행 선택 기준 같은 하이퍼파라미터가 결과를 좌우하므로 자신의 모델과 데이터에서 거부율·손상률·과제 정확도를 함께 측정해야 한다.

저자들이 명시한 한계는 분명하다. 자유 생성 읽기는 여전히 드물게만 성공하며, 설명이 핵심 내용은 맞히면서 세부를 틀리거나 행동을 지나치게 넓게 규정하는 사례가 있다. 또한 Reader는 단일 지식 항목이나 단일 행동 경향에 대응하는 통제된 업데이트에서만 평가되었고, 업데이트 뒤에 있는 학습 예시 자체를 복원하는 능력은 보이지 않았다. 윤리 성명에서도 이 결과가 훈련 데이터 추출 능력을 입증하는 것은 아니라고 못 박는다. 읽기와 개입을 잇는 인터페이스는 초기 단계이며, 여러 업데이트에 걸친 신뢰성이 다음 과제로 남아 있다.