변하는 환경에서 LLM 에이전트의 능동 탐색과 적응은 아직 어렵다

무엇인가

이 논문은 LLM 에이전트가 낯설고 계속 변하는 환경에서 스스로 탐색해 환경의 숨은 규칙을 알아내고, 규칙이 예고 없이 바뀌면 기존 지식을 버리고 다시 적응하는 능력을 측정하는 AdaExploreBench를 제안한다. 기존 벤치마크는 증거를 미리 주거나 환경이 정적이어서, 에이전트가 언제 무엇을 얼마나 탐색할지 스스로 결정하고 변화를 감지하는지를 제대로 시험하지 못했다는 문제의식이 출발점이다.

어떻게 동작하나

벤치마크는 환경 동역학을 행동과 결과를 잇는 잠재 규칙으로 구현한다. 평가 256개와 학습 1000개 인스턴스를 네 가지 규칙 계열(가법, 결합, 선별, 사전식)로 만들고, 네 개의 행동을 개입 강도 순으로 제시한다. 각 사례는 요인과 방해 변수를 포함하며, 요인은 양 또는 음의 방향 효과를 갖고 잠재 점수는 -1에서 1 사이로 매핑되어 행동 효용을 결정한다. 동적 설정에서는 같은 계열 안에서 관련 요인 하나가 교체되고 다른 요인의 방향이 뒤집히는 규칙 변화가 예고 없이 발생한다. 실행 프로토콜에서 에이전트는 과제 설명, 입력 필드와 범위, 행동, 규칙 계열 정의, 도구를 받지만 실제 계열과 요인, 파라미터, 변화 시점은 숨겨진다. Probe Batch로 직접 설계한 사례를 질의해 모든 행동의 효용을 관찰하고, Request Next Batch로 탐색 없이 진행하며, Submit Action Batch로 행동을 제출해 효용 피드백을 받는다. 평가 이력 마스킹은 완료된 평가 사례와 선택 행동을 이후 문맥에서 제거하되 실현 효용은 남기고, 스스로 수집한 탐색 관찰은 유지한다. 이는 환경이 제공한 증거와 능동 탐색을 분리하려는 설계다.

무엇과 다른가

실험은 GPT-6-Luna, GPT-6-Sol, Gemini-3.8-Flash, DeepSeek-V4.1-Flash, Gemma-4-12B, Llama-3.1-8B, Qwen3.5-9B, Qwen3.8-27B 등 8개 모델로 진행됐다. 기본 설정은 규칙 변화 있음, 평가 배치 마스킹, 탐색량 자기 결정이고, 비교를 위해 규칙 변화를 없앤 Stationary, 평가 배치를 마스킹하지 않는 Evidence Given, 최소 탐색을 강제하는 Forced-Probe를 둔다. 지표는 엄격 정확도(EA), 근최적 선택에 부분 점수를 주는 보정 정확도(CA), 고유 탐색 수, 변화 후 재탐색 수, 요인 인식, 변화 인식이다. 기본 설정에서 모든 모델이 CA 70% 미만이었고 GPT-6-Sol은 61.9%에 그쳤다. Gemini-3.8-Flash가 가장 좋았지만 역시 70% 미만이었다. EA와 CA의 격차는 상위 세 모델에서 2~5점이었지만 나머지 모델에서는 8~22점으로 벌어져, 약한 모델은 틀릴 때 효용 손실도 크다는 것을 보여준다.

어떻게 쓰나

탐색량은 성능과 비례하지 않았다. DeepSeek-V4.1-Flash는 Llama-3.1-8B보다 약 24배 많은 탐색을 했지만 CA는 Gemini-3.8-Flash와 GPT-6-Sol보다 낮았고, Gemini-3.8-Flash는 GPT-6-Sol보다 적게 탐색하고도 더 나은 성능을 냈다. 변화 후 재탐색도 DeepSeek가 더 많이 했지만 최종 성능은 더 낮았다. CA 상위 네 모델은 변화 인식 순위와 정확히 일치했고, 나머지 모델의 변화 인식은 최대 13.80%에 머물렀다. 규칙 변화를 없앤 Stationary는 DeepSeek에서 최대 14.7%, 평균 6.2% CA를 올렸다. Evidence Given에서는 7개 중 6개 모델이 개선됐고 4개는 15점 넘게 올랐지만, Qwen3.8-27B는 오히려 나빠졌고 탐색도 가장 크게 줄였다. Forced-Probe는 평균 고유 탐색 수를 33.9에서 53.8로 늘렸으나 평균 CA 변화는 -2.0%였다.

전제와 한계

오류 분석은 실패의 위치를 더 구체화한다. 규칙 변화가 일어난 첫 배치에서 기준선 위에 있던 6개 모델은 평균 26.9점 하락했고, 마지막 두 배치에서도 변화 전 수준보다 6.9~19.2점 낮았다. Llama-3.1-8B는 마지막 배치에서 1.3%까지 떨어졌다. 재탐색은 모델 내부에서는 변화 인식과 양의 상관을 보였지만, 모델 간 비교에서는 탐색량으로 정규화하면 유의미하지 않았다. 요인 인식과 변화 인식 모두 정밀도가 재현율보다 높아, 에이전트가 대체로 맞지만 불완전한 환경 모델에 일찍 정착하는 경향이 드러났다. 변화가 있었는데도 사전·사후 평가가 동일했던 적격 에피소드가 36.3%였고 GPT-6-Luna는 65.6%, Qwen3.8-27B는 54.2%였다. 요인 교체는 상대적으로 잘 알아채지만 방향 반전을 놓치는 비율이 17.7%로, 반대 경우 4.1%보다 훨씬 높았다.

개발자 관점에서 이 벤치마크는 에이전트의 탐색 횟수를 늘리는 최적화가 성능을 보장하지 않는다는 점을 수치로 보여준다. 변하는 환경에 배포하는 에이전트라면 질의 수를 늘리기보다 어떤 사례를 질의해 정보량을 확보하는지, 효용 저하를 변화 신호로 감지하는지, 이전 가설을 언제 폐기하고 재검증하는지를 설계하고 평가해야 한다. 특히 평가 이력 마스킹과 변화 전후 보조 평가는 환경이 준 증거에 기대지 않고 적응 능력을 분리해 보려는 장치이므로, 사내 에이전트 평가셋을 만들 때 참고할 만하다.

저자들은 한계도 밝힌다. 환경 동역학을 잠재 규칙과 규칙 변화로 단순화한 통제된 추상화라 현실의 복잡성과 불확실성을 모두 담지 못한다. 탐색 품질은 공간 다양성이나 결정 영역 커버리지 같은 직접 지표 대신 절제 실험으로 간접 평가했고, 규칙 변화도 같은 계열 안의 요인 교체와 방향 반전에 한정했다. 계열 간 변화, 다른 변화 유형, 변화 크기의 체계적 변화는 향후 과제로 남겼다.