LLM이 가중치를 직접 읽고 고쳐 Qwen 수학 성능을 여섯 배 끌어올린다

최전선 LLM이 신경망의 가중치를 날것 그대로 읽고, 필요하면 직접 고쳐 쓰는 능력을 보인다는 초기 연구 결과가 나왔다. 연구진은 이를 '가중치 공간 프로그래밍(Weight-Space Programming)'이라 부른다. 별도 옵티마이저나 경사하강 없이, 자연어로 주어진 목표만 듣고 모델 파라미터를 다룬다는 발상이다. 실험에는 GPT-6 Astra가 사용됐다.

가장 눈에 띄는 건 읽기 실험이다. 동일한 입출력 형태(10×10 격자 5채널 입력, 5개 행동 출력)와 동일한 구조(500→32→32→5 tanh, 17,253개 가중치)를 가진 정책 네트워크 네 개를 PPO로 각각 다른 게임에 학습시킨 뒤, 가중치 숫자만 프롬프트로 넘겼다. 게임 후보군조차 알려주지 않았는데도 Astra는 네 네트워크 모두에 대해 학습된 게임 이름을 맞혔다. 1층 가중치가 어느 입력 채널, 어느 위치에 몰려 있는지와 출력층이 구분하는 행동 패턴을 조합해 추론한 것이다.

읽기 능력은 다른 도메인으로도 이어졌다. 원·삼각형·사각형을 각각 생성하도록 학습한 12×12 흑백 DDPM 세 개(160→64→64→144 ReLU, 23,824개 가중치)를 두고 어떤 도형을 만드는지 맞히는 과제에서도 정답을 찾아냈다. 순전파 계산은 금지된 상태였다. 흥미로운 건 이 과정에서 실제 모델이 채워진 도형을 생성한다는 사실은 놓치고 윤곽선만 그렸다는 점인데, 연구진은 이를 오히려 순전파를 흉내 낸 게 아니라 가중치의 기하 구조를 실제로 읽었다는 방증으로 해석한다. 이 밖에 작은 언어모델이 어떤 언어로 학습됐는지, 두 언어모델 중 어느 쪽이 아첨하도록 학습됐는지를 가려내는 과제도 수행했다.

쓰기와 수정 쪽 결과가 실무적으로 더 자극적이다. Qwen3.5-0.8B의 수학 성능을 경사 없이 끌어올리라는 요청에 Astra는 추론 루프를 유발하는 가중치 지점을 짚어냈다. Qwen 자체 모델 카드가 경고하던 문제다. 수정한 비율은 전체 가중치의 0.016%. 같은 샘플링 설정에서 MATH-500은 7.9%에서 48.1%로 뛰었고, 별도 손질 없이 IFEval 기준 명령 수행 능력도 3배로 올랐다.

제로부터 네트워크를 써내는 과제도 수행했다. 환경 피드백 없이 MinAtar 게임 세 종과 바둑을 두는 네트워크를 만들었고, 그중 소형 게임 네트워크는 PPO로 1억 스텝을 학습시킨 정책을 앞섰다. 물리 제어 과제에서 실패하던 네트워크는 가중치 3.5%를 단 한 번에 고쳐 문제를 해결했다.

이 연구가 놓인 맥락은 명확하다. 지금까지 LLM은 프롬프트, 그 주변 코드, 최근에는 학습 하네스와 하이퍼파라미터까지 텍스트 아티팩트를 최적화하는 데 쓰여 왔다. 가중치는 사정이 달랐다. 사람이 손으로 만질 수 없고, 미분 가능한 파라미터에는 Adam이나 Muon 같은 상징적 옵티마이저가 이미 잘 작동했기 때문이다. 이번 결과는 그 경계가 흔들린다는 신호다.

개발자 입장에서 당장 달라지는 것은 디버깅과 소형 모델 튜닝의 경로다. 학습 데이터를 더 넣거나 LoRA를 붙이는 대신, 실패 원인을 가중치 수준에서 지목하고 국소적으로 교정하는 접근이 현실적인 선택지로 올라온다. 특히 이미 공개된 오픈 모델을 손봐 특정 벤치마크 성능을 끌어올리는 용도라면, GPU 클러스터 없이도 시도해볼 여지가 생긴다.

다만 전제는 분명히 밝혀져 있다. Astra에게 학습 루프 자체를 작성하도록 허용하지 않았고, 모든 수정은 추론을 통해 어느 가중치를 어떻게 바꿀지 판단하는 방식으로 이뤄졌다. 실험은 대부분 수만 개 수준의 작은 네트워크에 집중됐고, 언어모델 사례도 0.8B급 하나다. 저자들 스스로 '아주 이른 결과'라고 표현하는 만큼, 재현성과 다른 모델·규모로의 일반화는 아직 검증되지 않은 영역이다.