라슈카, Qwen3로 추론 모델 밑바닥 구현하는 11시간 강의 공개

세바스찬 라슈카가 추론 모델을 처음부터 직접 구현하는 8편짜리 영상 강의를 공개했다. 총 11시간 분량으로, 파이썬과 파이토치만으로 평가, 추론 시점 스케일링, 강화학습, 증류를 손으로 짜보는 구성이다. 그가 최근 펴낸 책 'Build a Reasoning Model (From Scratch)'의 동반 자료 성격이며, 영상은 책의 코드를 따라가며 설명하는 방식이다.

출발점은 사전학습된 Qwen3 0.6B 모델이다. 언어모델을 밑바닥부터 학습시키는 일은 별도의 책 한 권 분량이므로, 이미 학습된 가중치를 불러와 텍스트 생성 파이프라인을 만드는 데서 시작한다. 토큰 인코딩과 디코딩, 로짓과 다음 토큰 예측, 그리디 디코딩과 스트리밍 생성, 종료 토큰 처리 등을 직접 구현하고, 어텐션의 키·값을 재사용하는 KV 캐시와 torch.compile을 얹어 생성 속도를 끌어올린다.

그다음 단계가 이 코스의 핵심이다. 수학 정답 검증기를 답 추출, 정규화, 수식 동등성 판정 순으로 직접 만들고, 이를 MATH-500 평가에 적용해 베이스 모델의 성능을 측정한다. 같은 검증기를 강화학습의 보상 신호로 다시 쓰는 구조라, 평가와 학습이 어떻게 맞물리는지 한 흐름으로 따라갈 수 있다.

배경에는 추론 모델이 더 이상 특별한 예외가 아니라는 상황이 있다. 최근 LLM 상당수가 추론 모델이거나 추론 모드를 옵션으로 제공하며, 추론 강도를 조절하는 기법도 폭넓게 쓰인다. 라슈카는 지난 2년간 Ahead of AI에서 이 주제를 다뤄 왔고, 이번 강의는 작년 'Coding LLMs from the Ground Up'의 후속편에 해당한다. 다만 앞선 코스를 듣지 않아도 볼 수 있게 독립적으로 설계했다고 한다.

그는 추론 모델과 에이전트의 관계도 짧게 정리한다. 추론 모델은 검증 가능한 보상 기반 강화학습과 선택적인 추론 시점 스케일링을 더해 기존 LLM을 한 단계 끌어올린 것이고, 에이전트 하네스는 그 모델을 엔진 삼아 도구와 정교한 컨텍스트 관리를 붙이는 소프트웨어 계층이라는 설명이다. 결국 최신 에이전트를 이해하려면 그 안에서 돌아가는 추론 모델을 알아야 한다는 결론으로 이어진다.

실무 관점에서 값어치는 직접 구현해 본다는 데 있다. 검증기 작성, 평가 파이프라인, 보상 설계, 증류는 논문만 읽어서는 감이 잘 잡히지 않는 영역이다. 작은 모델로 전 과정을 한 번 돌려보면 모델 선택이나 추론 예산 설정 같은 판단의 근거가 생긴다.

전제 조건도 분명하다. 파이썬과 파이토치에 익숙해야 하며, 초반 텍스트 생성과 평가 예제는 CPU로도 가능하지만 후반 학습 실험은 GPU가 있어야 현실적이다. 저장소에 하드웨어와 환경 권장 사항이 함께 제공된다. 더 깊게 파려면 책을 장 단위로 읽고 영상으로 코드를 따라간 뒤 연습문제를 푸는 순서를 권한다. 개념만 빠르게 훑고 싶은 경우를 위해 90분짜리 별도 강좌도 마련해 두었다.