AI 논문 한국어 정리·요약 LLM 추론·서빙·에이전트 학습 논문
LLM 파이프라인이 단계 사이 인터페이스에서 최대 40점 정확도를 잃는다
멀티스테이지 LLM 파이프라인이 각 단계에서 원래 문제를 다시 보지 못할 때 최대 40.5점의 정확도를 잃는다는 '분해 세금'을 21개 오픈웨이트 모델에서 측정한 논문이다. 손실이 생긴 인터페이스 뒤 단계에 원문 문제를 다시 붙이는 재접지가 세금의 상당 부분을 되돌린다.
MoE 병합 후 라우팅 드리프트는 실패의 증거가 아니다
MoE LLM 병합 후 전문가 라우팅 변화를 라우팅 실패로 단정할 수 없다는 분석 연구다. DeepSeekMoE·OLMoE·Qwen3-MoE에서 대부분의 경로 변경은 라우터 파라미터가 아니라 입력 표현 변화에서 비롯됐고, 소스 경로 복원은 과제 이득을 입증하지 못했다.
고UTD SAC에서 표현 붕괴는 회복되지만 Q 성장은 발산을 예고한다
고UTD SAC의 큰 critic에서 표현 붕괴는 학습을 계속해도 회복 가능하지만, log10|Q|의 초기 성장률은 훈련 가드가 런을 중단할 시점을 미리 순위화한다. Walker2d와 Ant에서 15k 스텝의 성장률이 발산 플래그를 예측하고, 이를 이용한 조기 중단이 계산량을 절약한다.
1차 근사 모델로 파인튜닝 망각 확률을 사전에 상한한다
LoRA 파인튜닝 시작 시점의 유한차분 프로브만으로 보호 사실별 망각 확률 상한을 계산할 수 있는지 분석한 논문이다. 응답 계수 변화량 R이 경계까지의 거리 a보다 작은 사실에서만 완전 Freedman 상한이 성립했고, 112개 조건 전체에서 위반이 없었다.
의료 LLM의 정답과 일관성은 설명 충실성을 보장하지 않는다
의료 LLM이 시험 정답을 맞혀도 그 설명이 실제 결정을 이끈 개념을 짚는다는 보장은 없다는 논문이다. 6개 모델과 150개 MedQA-USMLE 문항을 분석해 인용 개념의 23.3%만 인과적으로 필수적이었고, 정답일수록 인과 충실성 점수가 낮았다는 결과를 제시한다.
LLM은 선택지가 많아질수록 정답 확신이 무너지고 앞쪽 후보에 끌린다
LLM이 후보 선택지 수가 늘어날 때 정답 확신이 무너지고 앞쪽 후보에 끌리는 실패 패턴을 분석한 논문이다. 계층 분할과 순열 기반 추론으로 N=160에서 정확도를 약 20%포인트 끌어올리는 방법도 제안한다.
시각적 대규모 활성화는 모든 LVLM에서 생기지 않는다
25개 LVLM을 18개 텍스트 베이스 위에서 분석해 시각적 대규모 활성화(visual spike)가 모든 모델에서 형성되지 않으며, 트리거 방향과 최소 공유 토큰 규칙으로 위치를 예측할 수 있음을 보였다. 1/255 픽셀 예산의 공격으로 스파이크를 생성·제거하고, 쓰기 이전에 트리거 성분만 제거해 억제하는 예방적 개입도 제안한다.
LLM 에이전트의 상태 요약 손실은 예산이 아니라 쓰기 시점 후회에서 온다
상수 컨텍스트 LLM 에이전트의 결정 손실을 예산 손실과 쓰기 시점 후회로 분해하고, 후보 상태를 writer로 굴려 평가하는 DSSR 훈련법을 제안한다. TextWorld 요리 게임에서 지연 0일 때 테스트 승률을 3.3%에서 10.4%로 올렸지만, 지연이 길어지면 이득이 사라진다.
에이전트 파이프라인 결함 복구는 원문 재유도 가능성이 결정한다
LLM 에이전트 파이프라인에서 상류 결함이 남기는 비용은 각 단계가 원래 문제에서 필요한 정보를 얼마나 다시 유도할 수 있는지가 결정한다. 4개 오픈웨이트 모델에서 원문 재노출은 결함 하 정확도를 +0.233~+0.392 끌어올렸지만, 파이프라인 자체는 단일 호출을 안정적으로 이기지 못했다.
다단계 계획의 물리적 위험을 실행 전에 잡는 PlanGuard
체화 에이전트가 만든 다단계 계획 전체를 실행 전에 검사해 물리적 위험을 잡아내는 PlanGuard가 제안됐다. 1만6천여 개 계획을 주석한 MSP-Safe 데이터셋과 STAC-OPD 증류로 2B 모델에서 평균 F1 87.21%를 달성했다.
HABIT과 AgentHabit은 LLM 에이전트를 23개행동축으로 프로파일링한다
LLM 에이전트가 일상 과제를 수행하는 방식을 23개 행동 축으로 분류한 HABIT과, 18개 모델을 86개 과제로 프로파일링한 AgentHabit 벤치마크를 제안한다. 과제 성공률 너머의 행동 성향을 측정하고, 프롬프트와 파인튜닝으로 그 성향을 얼마나 바꿀 수 있는지 분석한다.
이방성은 역할 분담이며 SphereGate는 채널 게이트로 추론을 높인다
LLM 사후학습에서 소수 잔차 채널에 활성이 몰리는 이방성을 결함이 아닌 역할 분담으로 재해석하고, 동결 백본 위에 채널별 게인만 학습하는 SphereGate로 수학 추론 성능을 끌어올린 연구다.
5% 시각 토큰만 남긴 MLLM이 자기 생성 궤적 위에서 전체 토큰 교사에게 배우는 온폴리시 자기증류
시각 토큰을 5%만 남긴 멀티모달 LLM에서, 압축된 학생이 스스로 생성한 경로 위에서 전체 토큰 교사가 분포를 감독하는 온폴리시 자기증류 LT-OPD를 제안한다. Qwen3.5-4B에서 평균 성능 유지율을 68.6%에서 82.3%로 끌어올렸다.
LLM 강화학습의 학습-추론 엔진 불일치를 log-odds 변위에서 교정하는 CIS
RLVR에서 롤아웃 엔진과 학습 엔진이 같은 토큰에 다른 확률을 부여하는 문제를 log-odds 변위로 정식화하고, 변위 상단만 잘라 신뢰도에 따라 조여지는 중요도 상한을 만드는 CIS를 제안한다. MoE 3종·수학 추론 5개 벤치마크에서 최고 평균을 기록했다.
CoWindow Attention이 KV 헤드별 분담으로 전체 인과 커버리지를 이룬다
모든 어텐션 헤드가 전체 인과 문맥을 중복해서 보는 대신, KV 헤드마다 서로 다른 장거리 구간을 나눠 맡기고 그 합집합으로 전체 인과 접근을 보장하는 CoWindow Attention을 제안한다. 8K 검색 정확도 89.73%로 FullAttn 89.97%에 근접하면서 128K 학습 지연을 최대 8.6배 줄였다.
어텐션 스스로 계산량을 배분하는 MALA가 긴 문맥 비용을 줄인다
FullAttn은 낮은 기여도의 타일에도 전체 후처리 연산을 수행한다. MALA는 소프트맥스 정규화 기여도로 후처리 계산을 생략해 128K 토큰에서 학습 지연을 2.2~3.0배 줄이면서 14B·32B 모델 품질을 FullAttn 수준으로 유지한다.
Adaptive Consistency Graph가 장기 실행 에이전트 표류를 줄인다
장기 실행에서 LLM 에이전트가 원래 목표에서 표류하는 문제를, 실행 근거를 출처와 함께 그래프로 축적하고 결정마다 요구사항 중심 임시 뷰를 구성해 줄이는 Adaptive Consistency Graph 논문이다. GPT-5.6-luna 평균 성공률이 ReAct 44.5%에서 50.2%로 올랐지만 DeepPlanning에서는 12.4%에 머물렀다.
RoboFoundry가 로봇 에이전트의 지원 시스템 자체를 정책으로 진화시킨다
RoboFoundry는 고정된 파운데이션 모델 주변의 지원 시스템 자체를 정책으로 보고, 실행 트레이스를 검증된 파일시스템 편집으로 바꿔 진화시킨다. EmbodiedBench에서 GPT-5.5를 27.8% 끌어올리고 LIBERO-PRO와 실제 로봇 실험에서도 일관된 이득을 냈다.
DepthBench가 잔차 연결 설계에 따라 깊이가 실제 계산 깊이가 되는지를 측정한다
DepthBench는 파라미터 예산을 고정한 채 너비와 깊이 비율만 바꿔 10개 트랜스포머 아키텍처를 비교한 통제 벤치마크다. Pre-LN 계열은 깊어질수록 손실이 나빠졌지만 HC와 Full AttnRes는 극단적으로 깊고 좁은 형태에서도 계속 개선됐다.
워터마크 잔차 전이는 아키텍처가 좌우하고 CoverLock이 차단한다
신경망 이미지 워터마크의 잔차가 무관한 이미지로 전이되는 성질을 RT로 정량화하고, 아키텍처 설계가 이를 좌우함을 보인 뒤 기존 시스템에 그대로 붙이는 CoverLock을 제안한다. CoverLock은 평균 위조 성공률을 0.25% 미만으로 낮추면서 강건성도 함께 높였다.
FlashForward가 디노이징 중 KV 캐시를 재사용해 자기회귀 영상 생성을 가속한다
Meta의 FlashForward는 디노이징 forward가 이미 계산한 KV를 그대로 재사용해 캐시 갱신 전용 forward를 없애고, 스테이지별 GPU 파이프라인으로 자기회귀 영상 생성을 가속한다. 희소한 clean 앵커 KV로 노이즈 히스토리의 드리프트를 잡아 20초 이상 영상에서 최대 2.92배 빠르면서 VBench 점수도 높인다.
ExpVoyager가 과거 경험을 탐색해 에이전트 스킬을 실시간 합성한다
LLM 에이전트의 스킬 합성을 사전 추상화 대신 과거 경험에 대한 동적 탐색 문제로 재정의한 ExpVoyager를 제안한다. ALFWorld·WebShop·ScienceWorld에서 기존 스킬 기반 베이스라인을 앞서고, 경험 공간이 커질수록 격차가 벌어진다.
약한 모델이 강한 모델의 추론을 이끄는 교대 사고 사슬 학습법
강한 모델의 롤아웃 없이 약한 교사 모델만 RL로 학습해, 추론 시점에 텍스트로 강한 학생 모델을 이끄는 Allspark를 제안한다. ARC-AGI-2에서 81.6%로 단독 78.1%를 넘고, Kimi·Nemotron 등 타 계열 전이도 보고한다.
검색 임베딩에서 공유 투영과 이중 투영의 선택 기준을 편향분산 이론으로 제시한다
이 논문은 dense retrieval에서 공유 투영과 이중 투영 중 무엇이 유리한지 편향분산 이론으로 분석하고, 학습 데이터와 방향성 신호에 따라 선택하는 CARS를 제안한다. 실험에서 데이터가 늘수록 이중 투영이 유리해지며 CARS가 고정 기하보다 홀드아웃 리그렛을 49~96% 줄인다고 보고한다.
PrismQuant는 그룹 INT4의 상수 부분공간에 활성값 주도 방향을 정렬한다
PrismQuant는 그룹 비대칭 INT4 양자화기가 공짜로 표현하는 상수 부분공간에 활성값의 주도 고유방향을 정렬해, 회전 설계를 Ky Fan trace 최대화로 풀고 학습 없이 폐쇄형 최적해를 얻는다. Llama·Qwen·Mistral의 W4A4KV4 정확도를 끌어올리고 FP16 대비 1.51배 prefill 속도를 보고한다.
다자 음성 대화의 장기 기억을 화자 관계까지 담아 검색하는 VoxPolyMem
여러 화자가 오가는 음성 대화에서 누가 누구에게 말했는지까지 기억하는 VoxPolyMem을 제안한 논문이다. 증분 화자 식별과 상호작용·사실·프로필 계층 메모리, EG-GRPO로 학습한 검색 에이전트를 결합해 자체 벤치마크 VoxPolyBench에서 85.0점을 기록했다.
같은 계열 모델에서 온폴리시 증류가 규모에 따라 어떻게 전이되는지 실측한다
Qwen2.5 0.5B~14B와 수학 추론 데이터로 같은 계열 온폴리시 증류(OPD)의 규모 법칙을 실측했다. 초기 전이는 √KL에 선형이고, 피크 정확도는 학생·교사 규모와 교사 점수의 멱법칙으로 예측되며, 같은 점수에서는 작은 교사가 더 잘 전이한다.
AgentTell이 브라우저 에이전트의 행동 부채널 누출을 측정한다
브라우저 사용 에이전트가 한 사이트에서 습득한 사용자 비밀을 다른 사이트에서 클릭 선택만으로 흘리는 행동 부채널을 정의하고, 20개 시나리오·100개 태스크 벤치마크 AgentTell로 9,760세션을 측정해 61.1%의 누출률을 보고한다.
BiasReducer가 보상 모델의 표면 편향을 재학습 없이 줄인다
BiasReducer는 보상 모델의 선형 보상 헤드만 편집해 길이·확신·아첨 같은 표면 속성 의존을 줄이는 경량 프레임워크다. 5개 보상 모델과 3개 벤치마크에서 평균 8.3·18.0·6.9%p 향상을 냈다.
LLM 에이전트가 바뀐 사용자 의도를 놓치는 이유를 측정하고 고친다
멀티턴 대화에서 대체·철회된 사용자 의도가 최종 답에 계속 영향을 주는 '의도 드리프트'를 측정하는 IntentFlux 벤치마크와, 활성 상태를 명시적으로 유지해 이를 부분적으로 고치는 StateForge를 제안한다. 627개 캘리브레이션에서 평균 점수가 0.476에서 0.384로 떨어졌고, StateForge는 0.367을 0.467로 끌어올렸다.