ALPS는 긴 학습 궤적에서 학생 행동 프로파일 일관성을 유지한다

무엇인가

LLM 기반 학생 시뮬레이터는 실제 학생을 붙이기 전에 학습 플랫폼과 AI 튜터를 시험하고, 부족한 학습 데이터를 보강하는 수단으로 쓰인다. 문제는 기존 시뮬레이터가 대부분 짧은 언어 중심 상호작용(튜터링 대화, 오답 생성, 평가 응답)에 맞춰져 있다는 점이다. 이 논문이 겨냥하는 것은 개방형 학습 환경(OELE)으로, 학생 행동이 개별 턴이 아니라 수십~수백 턴짜리 궤적 전체의 패턴에서 창발한다. 저자들은 여기서 세 가지 난점을 든다. 첫째, 궤적이 길어질수록 LLM이 부여된 행동 프로파일에서 이탈(drift)한다. 둘째, 기존 연구는 지식 상태·성격·인구통계 같은 일반 속성에 조건화하는데, 이는 특정 환경에서 그 학생이 어떻게 행동하는지를 기술하지 않으므로 생성 결과를 검증할 관찰 가능한 근거가 없다. 셋째, 시뮬레이터가 필요한 이유인 데이터 희소성 자체가 환경 특화 프로파일 학습을 막는다.

어떻게 동작하나

저자들은 학생 시뮬레이션을 '프로파일 조건부 장기 궤적 생성' 문제로 재정의한다. 프로파일은 실제 궤적을 행동 특화 피처(행동의 강도·품질·시간적 분포)로 표현하고, 유클리드 거리 기반 유사도를 다차원 스케일링으로 임베딩한 뒤 k-means로 군집화해 도출한다(BIC를 200개 시드 평균으로 선택). 각 프로파일은 z_p = (d_p, S_p)로 표현되는데, d_p는 행동 패턴 요약, S_p는 행동 시그니처 집합이다. 시그니처는 프로파일 내 모든 학생이 보인 '하드 시그니처'와 3분의 2 이상이 공유한 '소프트 시그니처'로 나뉜다. 초기 기술과 시그니처는 LLM이 군집 통계와 대표 궤적을 보고 생성하되, 도메인 전문가가 검토·수정한다.

무엇과 다른가

핵심 구조인 ALPS는 하나의 LLM을 매 턴 새로 호출하는 대신 '구간 플래너 + 행동 생성기'의 계층 구조로 동작한다. 환경별로 고정된 결정론적 분할 규칙이 궤적을 연속 구간으로 나누고(환경 모드 전환이나 특정 행동 유형 경계를 따르며, 수백 개 행동에도 구간은 소수), 각 구간 시작에서 플래너가 B_k ~ π_plan(·|z_p, s_tk, B̂_<k)를 생성한다. 이 계획에는 목표 행동 통계, 궤적 종료 여부, 구간 종료 조건이 담기고 구체적 행동 선택은 생성기에 위임된다. 구간 안에서는 생성기가 a_t ~ π_gen(·|B_k, s_t, A(s_t), B̂_k,<t)로 한 턴에 하나씩 행동을 고른다. 무효 행동은 한 번 재시도하고 다시 실패하면 종료 행동을 제외한 허용 행동에서 균등 샘플링하며, 모순된 계획(예: 특정 유형의 관련 행동 수가 전체 행동 수를 넘는 경우)은 결정론적으로 보정한다. 구간이 끝나면 생성된 행동을 요약해 다음 플래너 호출에 넘기고, 플래너가 종료를 선언하거나 행동 예산이 소진될 때까지 이 교대가 반복된다.

어떻게 쓰나

적응 방법으로는 ICL, SFT, RAFT, 그리고 SFT 후 RAFT를 비교한다. SFT와 RAFT는 프로파일·컴포넌트·환경마다 LoRA 어댑터를 하나씩 학습한다. SFT는 실제 궤적을 같은 분할 규칙으로 잘라 각 구간에서 플래너 예시(관찰된 행동에서 추출한 목표 계획 B_k)와 행동 생성기 예시를 만들고, 궤적 길이 차이를 보정하려 후반 구간을 업샘플링해 토큰 단위 교차엔트로피로 학습한다. RAFT는 생성-필터-학습 한 사이클로, 프로파일에 맞는 궤적만 보상으로 걸러 학습 데이터로 바꾼다. 데이터 충분 설정에서는 가중 KNN 분류기(클래스 빈도·거리 역가중, k는 balanced accuracy 기준 leave-one-out으로 선택)를 보상으로 쓰고, 분류기 점수가 0.5를 넘고 해당 프로파일 실제 학생 거리 분포의 95백분위수를 넘지 않아야 통과시킨다. 데이터 희소 설정에서는 프로파일당 실제 궤적 3개만 주어지므로, GPT-OSS-120B 교사 모델이 체크리스트 기반 '교사 보상(TR)'을 매기고 SFT용 시연 궤적까지 생성한다.

전제와 한계

실험은 두 개방형 환경에서 이뤄졌다. TugLet은 줄다리기 대회를 실험해 힘의 합이 큰 쪽으로 물체가 움직인다는 것을 발견하는 탐구형 물리 게임으로 학생 249명, 기존 연구의 프로파일 6개, 궤적 중앙값 41행동(90백분위 124, 최대 185)이다. PharmaSim은 진단 대화를 연습하는 약국 시뮬레이션으로 학생 234명, 이 논문에서 도출한 프로파일 5개, 중앙값 31행동(최대 61)이다. 각 환경을 개발 세트 140명과 홀드아웃 테스트 세트(TugLet 109명, PharmaSim 94명)로 나누고, 시뮬레이터는 Qwen3-8B, 교사는 GPT-OSS-120B를 쓴다. 프로파일당 100개 궤적을 온도 0.7로 생성하고 3개 시드로 반복해 평균과 표준편차를 보고한다. 평가는 특징 공간의 Clipped Density와 Clipped Coverage(기본 이웃 수 3, 테스트 학생 10명 미만 프로파일은 1), 그리고 블라인드 프로파일 식별(G)·시그니처 충족(H)·규칙 기반 생성 아티팩트 검출(R)을 곱한 엄격 판정 V=G·H·R의 통과율로 이뤄진다. 판정 구성요소는 학습 보상과 독립이며, 인간 평가자와의 일치도는 Cohen's κ 기준 블라인드 프로파일 식별 1.00/0.87, 전체 시그니처 충족 0.91/1.00, 하드 시그니처 검사 0.83/0.94로 높게 보고됐다.

데이터 충분 설정(Exp1)에서 미세조정 없이도 ALPS는 GPT-OSS의 밀도와 판정 통과율을 두 환경 모두에서 유의하게 끌어올렸고, 판정 통과율은 대략 3배가 됐다. PharmaSim에서는 커버리지도 유의하게 개선됐지만 TugLet에서는 오히려 감소했다. 반면 턴 단위 GPT-OSS는 각 환경에서 최소 하나의 어려운 장기 궤적 프로파일에서 완전히 실패해 최악 프로파일 점수가 0이 됐다. Qwen3에서는 구조 비교가 유의하지 않았는데, TugLet에서 턴 단위 생성이 밀도와 커버리지는 더 높지만 판정 통과율이 매우 낮아 집계 피처에만 기계적으로 맞은 결과로 해석됐고, 긴 예시 3개를 제거하면 Qwen3 ALPS가 오히려 유의하게 앞섰다(부록 E.4). 적응 방법 중에서는 SFT가 만든 개선만 통계적으로 유의했고 RAFT가 포함된 비교는 어느 것도 유의하지 않았다. SFT를 붙인 ALPS는 두 환경 모두에서 턴 단위 SFT보다 밀도와 판정 통과율이 유의하게 높았고 TugLet에서는 커버리지도 유의했다. 어댑터를 분리한 소거 실험에서는 플래너가 프로파일 정합성의 대부분을 담당하고 생성기는 커버리지를 넓히는 역할을 했다. RAFT는 PharmaSim 5개 프로파일 중 2개에서 통과 후보가 하나도 나오지 않아 어댑터 학습 자체가 불가능했고, TugLet에서는 세 지표 모두 SFT보다 유의하게 나빴다. 턴 단위 모델에 RAFT를 적용하면 SFT 이득이 오히려 뒤집혔는데, 궤적 3분의 1이 기계적 반복을 보였고 궤적 수준 보상은 이를 잡지 못했다.

데이터 희소 설정(Exp2)에서는 교사 감독이 ALPS만 유의하게 개선했고 턴 단위 학생은 어떤 적응 방법으로도 신뢰할 만한 향상이 없었다. GPT-OSS의 ICL 조건에서 ALPS는 두 환경의 밀도와 판정 통과율, TugLet의 커버리지를 유의하게 개선했지만, Qwen3는 프롬프트가 길어지며 ICL 효과가 제한돼 유의한 우위가 없었다. 교사의 두 역할 중 시연이 더 큰 몫을 했다. 교사 시연으로 SFT한 ALPS는 두 환경의 밀도·커버리지와 PharmaSim의 판정 통과율을 유의하게 개선했고, TugLet의 판정 통과율은 명목상 올랐으나 턴 단위 대응 조건과 유의차는 없었다. 그 결과 어댑터를 붙인 8B ALPS가 120B 교사와 대등한 성능을 냈다. TugLet에서는 모든 지표가 유의차 없이 비슷했고, PharmaSim에서는 커버리지가 같고 밀도는 근접하며 판정 통과율은 오히려 더 높았다. 교사 보상은 데이터 기반 보상이 못 한 것을 해냈는데, 집계 피처 공간의 근접도 대신 프로파일 기술·시그니처·생성된 행동 자체를 평가하기 때문이다. 다만 SFT 뒤에 RAFT를 얹으면 유의한 추가 이득이 없고 커버리지는 두 환경 모두 감소했다. SFT 이후에는 이미 교사 판정을 통과하는 궤적이 많아 거부 샘플링이 안전하게 통과할 후보만 남겨 분포를 좁히는 것으로 해석된다.

개발자 관점에서 이 논문의 실무적 메시지는 두 가지다. 첫째, 장기 상호작용 에이전트에서 페르소나·정책 일관성을 유지하려면 매 턴 프롬프트로 속성을 재주입하기보다 의미 있는 구간 단위로 계획을 세우고 그 계획을 행동으로 실현하는 구조가 낫다. 특히 실패한 계획을 결정론적으로 보정하고 무효 행동에 대한 재시도·폴백을 두는 식의 방어 로직이 함께 제시돼 참고할 만하다. 둘째, 실제 데이터가 거의 없을 때는 큰 교사 모델에게 보상만 맡기는 것보다 시연을 생성해 소형 모델에 증류하는 편이 효과적이었다. 다만 저자들이 명시한 한계도 분명하다. 평가는 두 환경과 두 모델 계열에 한정되며, 구간 분할 규칙과 계획 필드는 사람이 손으로 설계했고 RAFT는 단일 사이클만 돌렸다. 데이터 희소 상황에서 프로파일 내부 커버리지는 여전히 낮고, 저자들은 시뮬레이션 인구집단이 실제 사용자 연구를 대체가 아니라 보완해야 하며 배포 전 검증이 필요하다고 못 박는다. 자동 분할, 희소 데이터에서의 커버리지 확대, 보상 모델 기반 반복 적응, 환경 간 전이, 배포 전 튜터 테스트 같은 하류 활용이 향후 과제로 남아 있다.