Dream2Discern은 추가 라벨 없이 런타임 실패 예측을 개선한다

무엇인가

이 논문은 LLM 기반 멀티에이전트 시스템이 실행 도중 실패할 조짐을 미리 판단하는 런타임 실패 예측을 다룬다. 에이전트가 도구를 호출하고 외부 시스템을 바꾸는 과정에서 추론 오류나 도구 사용 오류가 생기면 작업 완료가 위협받고, 실행이 끝난 뒤에야 실패를 아는 것으로는 개입 시점을 놓친다. 기존 학습 기반 감사자는 결과가 검증된 궤적 코퍼스에 의존하는데, 새 궤적을 모으려면 롤아웃과 결과 검증이 필요하고 기존 궤적을 편집하면 이어지는 실행과 원래 결과 라벨이 어긋날 수 있다. 저자들은 실패 범위를 넓히는 것만으로는 현재 감사자가 어떤 프리픽스를 어려워하는지 식별할 기준이 없다는 점을 문제로 삼고, 추가 라벨 없이 감사자 자신의 예측 손실로 어려운 사례를 만들 수 있는지 묻는다.

어떻게 동작하나

원문은 먼저 궤적 확장의 비용과 편집 라벨의 문제를 실측한다. AFTraj-2K의 약 2K 궤적에서 롤아웃과 결과 검증을 합친 획득 시간이 궤적당 평균 수십 초에 달해 반복 확장이 비싸다고 보고한다. 실패 원본 궤적의 행동이나 도구 응답을 바꿔 재실행해 얻은 검증 연속 326개 중 85.7%가 성공했기 때문에, 편집 후 원래 실패 라벨을 그대로 재사용할 수 없다는 점도 보인다. 또한 원본과 편집 프리픽스는 고정 LLM 인코더의 PCA 투영에서 크게 겹쳤고, 고정 훈련 예산에서 편집을 함께 쓴 예측 헤드는 원본만 쓴 헤드보다 홀드아웃 클래스 균형 BCE가 높았다. 이 결과는 단순한 궤적 편집이 감사자 학습에 유용하지 않을 수 있음을 보여준다.

무엇과 다른가

제안 방법 Dream2Discern은 사전학습 LLM의 가중치를 고정하고 Transformer의 query/value 투영에 LoRA 어댑터를 붙인 뒤, 마지막 토큰 은닉 상태를 분류 헤드로 보내 실패 점수를 내는 감사자다. 훈련은 Dream과 Discern을 번갈아 수행한다. Dream은 기록된 프리픽스와 원래 라벨을 그대로 둔 채 감사자의 표현 연산에 제한된 저랭크 섭동을 가해 배치 예측 손실을 키우는 방향을 찾고, 그렇게 유도된 최종 프리픽스 표현을 hard latent variant로 삼는다. Discern은 이 변형 위에서 원래 결과 라벨을 예측하도록 감사자를 학습한다. 변형은 감사자가 학습하면서 다시 생성되므로 제한된 코퍼스가 재생 가능한 어려운 예제 공급원이 된다.

어떻게 쓰나

Dream의 구체 절차에서 각 배치는 성공과 실패 프리픽스를 같은 수로 담고, 감사자 파라미터를 고정한 상태에서 어댑터가 적용된 query/value 투영의 유효 가중치에 배치 공통 섭동 V를 더한다. V는 프로베니우스 노름을 원래 투영 노름으로 정규화한 상대 반경 γ 이내로 제한하고, 각 투영의 rank를 r 이하로 제한한다. 목표는 이 섭동 아래 배치 BCE를 최대화하는 것이다. 원문은 이를 선형화해 손실 그래디언트를 스케일한 뒤 SVD 절단으로 상위 r개 성분을 남기는 해를 제시한다. 후보 섭동이 실제 비선형 손실을 증가시키는지 확인하기 위해 후보를 절반씩 줄여 최대 여섯 번 시험하고, 손실이 V=0보다 커지는 첫 지점을 채택한다. 어느 시험점도 통과하지 못하면 섭동은 0이 된다. Discern 단계에서는 반환된 섭동을 고정하고 섭동이 적용된 순전파에서 나온 표현으로 원래 라벨을 예측하도록 LoRA 어댑터와 분류 헤드를 업데이트하며, Dream 탐색으로 흐르는 그래디언트는 stop-gradient로 끊는다. 런타임에는 섭동 없이 V=0으로 감사자를 실행하고, 각 비종료 상호작용 단계에서 실패 점수를 계산해 단계별 임계값과 비교한다. 임계값은 훈련 파티션의 성공 궤적으로 오프라인 보정해 고정한다.

전제와 한계

실험은 AFTraj-2K와 StepShield에서 수행됐다. AFTraj-2K는 수학 추론, 코딩, 도구 사용을 아우르는 멀티에이전트 실행을 담고 같은 코퍼스의 테스트 분할로 도메인 내 평가를 제공한다. StepShield는 안전 모니터링용 주석 궤적이며, 테스트 궤적이 훈련에 쓰이지 않은 사고 템플릿에서 나와 템플릿 수준의 도메인 외 평가가 된다. 베이스라인은 Qwen3-4B/8B/32B, Llama-3.2-3B-Instruct, Llama-3.1-8B-Instruct, LlamaGuard3-8B 같은 오픈 LLM 판정자, GPT-5.4·Claude-Sonnet-4.6·Grok-4.3·Kimi-K2.7-Code 같은 폐쇄형 판정자, 토큰 엔트로피·NLL 기반 불확실성 방법, 그리고 AgentDebug·AgentForesight·SAFE·Hide-and-Seek·TRACES 같은 실패 감사자다. 지표는 AUROC, FPR95, 궤적 수준 가중 정확도(wACC), 시간 가중 정확도(TWA)다. 주요 결과로 Dream2Discern은 두 벤치마크 모두에서 궤적 수준 wACC 90%를 넘겼고, 가장 강한 감사자 베이스라인보다 최대 11.11% wACC 높았다. 원문은 AFTraj-2K에서 네 지표 모두, StepShield에서 wACC와 TWA에서 선두라고 보고한다. 두 Qwen3 백본에서 SAFE, Hide-and-Seek, TRACES를 세 시드 평균 네 지표 모두 앞섰고, 도메인 외인 StepShield에서 wACC 이점이 도메인 내 AFTraj-2K보다 컸다. 4B 감사자는 StepShield의 wACC와 TWA에서 Claude-Sonnet-4.6을 넘었다. Llama3 백본에서도 두 모델 크기 모두 두 벤치마크에서 가장 높은 wACC를 냈고, AFTraj-2K에서는 보고된 세 지표 모두 선두였다.

절제 실험은 손실 기반 변형 구성의 기여를 지지한다. 섭동 없이 학습한 감사자, 같은 랭크 상한과 반경으로 무작위 저랭크 섭동을 준 감사자와 비교했을 때, Dream을 쓴 학습은 네 설정 모두에서 가장 높은 AUROC를 냈고 대부분 설정에서 wACC와 TWA도 개선했다. 메커니즘 분석에서 Dream 섭동은 샘플링한 모든 배치에서 배치 BCE를 증가시킨 반면 무작위 섭동은 0 근처에 몰렸다. 또 훈련 배치에서 고른 섭동에 대한 민감도를 기준으로 홀드아웃 프리픽스를 다섯 그룹으로 나누면, 민감도가 가장 낮은 그룹에서 가장 높은 그룹으로 갈수록 섭동 없는 감사자의 오류율이 증가했다. 사례 연구에서는 Dream2Discern이 환경이 TEST_FAILED를 보고하기 두 상호작용 전, 정답 오류 단계에서 실패를 예측했고, 섭동 없는 감사자는 테스트 실패가 보고된 9단계에야 처음 실패를 예측했지만 Dream 섭동 민감도는 7단계에서 뚜렷한 피크를 보였다.

개발자에게 이 방법은 에이전트 실행 로그가 쌓일 때마다 새 궤적을 대량 수집하지 않고도 런타임 실패 감사자를 개선하는 선택지로 의미가 있다. 특히 도구 호출과 외부 시스템 변경이 많은 멀티에이전트 워크플로에서 실행 초중반의 프리픽스로 최종 실패 위험을 추정하고, 단계별 임계값으로 조기 경고를 내는 모니터링에 적용할 수 있다. 다만 감사자의 점수는 확률적 판단이며, 배포 시에는 작업별 안전장치와 인간 감독을 유지해야 한다. 또한 실행 이력에 민감 정보가 들어갈 수 있으므로 감사자 입력의 보호가 필요하다.

저자가 명시한 전제와 한계도 분명하다. 논문의 윤리 성명은 감사자 예측이 틀릴 수 있고 안전한 실행을 인증하거나 유해 행동을 막는 장치가 아니라고 밝힌다. 방법 자체도 상대 반경 γ와 rank 상한 r이 있는 저랭크 섭동, 손실의 1차 선형화, Proposition 2의 테일러 잔차 가정, 고정 훈련 예산, 성공 궤적으로 보정한 고정 임계값에 의존한다. 따라서 실제 배포에서는 도메인별 보정 데이터와 오탐·미탐 비용을 확인하고, 감사자 단독이 아니라 인간 개입 절차와 함께 운영해야 한다.