도구 이름이 바뀌어도 같은 선택을 하는 LLM 에이전트를 만드는 CIPR
One Task, Many Interfaces: Simple Cross-Interface Consistency Training Improves LLM Agent Robustness
무엇인가
LLM 에이전트의 실력은 훈련된 인터페이스, 즉 도구의 이름·설명·인자 스키마에 묶여 있다. 도구 이름을 바꾸거나 표기를 바꾸는 것처럼 과제 의미를 보존하는 교란만으로도 에이전트 성능이 떨어진다. 저자들은 이를 지름길 학습(shortcut learning)의 한 사례로 본다. 고정된 훈련 인터페이스에서는 도구 설명을 읽고 고르는 정책과 익숙한 이름이나 도구 목록에서의 위치에 의존하는 정책이 같은 호출을 하고 같은 보상을 받으므로, 과제 목적함수가 전자를 선호할 이유가 없다. 배포 환경에서는 레지스트리가 서로 다른 서버의 도구를 합치고, 제공자가 스키마를 고치고, 사용자가 요청을 오타로 입력한다. 도구 설명만 편집해도 에이전트가 동등한 다른 도구 대신 그것을 선호하게 만들 수 있다는 점도 지적된다.
어떻게 동작하나
기존 대응은 훈련에서 보는 것을 바꾸는 방식이었다. 함수 마스킹은 도구·인자 이름을 무작위 문자열로 바꾸고, 다중 인터페이스 훈련(도메인 랜덤화, ToolRL-DR)은 스키마·메타데이터·질문 형식을 변주하며, ToolACE 같은 합성 코퍼스는 훈련에서 보는 도구 자체를 넓힌다. 문제는 이들이 각 훈련 인터페이스를 개별적으로 채점한다는 점이다. 모든 인터페이스에서 성공하라고 요구할 뿐, 동등한 인터페이스를 같게 취급하라고 요구하지 않으므로 훈련 변형은 모두 맞추면서 새 종류의 변화에서 실패하는 지름길을 남긴다.
무엇과 다른가
CIPR(Cross-Interface Policy Regularization)은 이 성질을 직접 훈련한다. 첫 단계는 정규화다. 모든 도구 이름을 function_01 같은 중립 식별자로, 인자 이름을 도구 안에서 번호를 매긴 식별자로 바꾼다. 설명·타입·필수 인자·인자 값은 그대로 두어 에이전트가 설명을 읽어야 도구를 구분할 수 있게 만들고, 쿼리와 이전 턴, 훈련 타깃에 나오는 같은 이름에도 동일한 매핑을 적용한다. 추론 시에는 정규화 어댑터가 들어오는 인터페이스에 이 매핑을 적용하고 생성된 호출을 실행 가능한 API로 되돌리므로 배포된 도구 자체는 수정되지 않는다. 두 번째 단계는 교란 인터페이스 구성으로, 모든 도구에 'deprecated'나 'slower'라고 적거나 과제에 필요한 인자를 무관한 것으로 바꾼 열등 쌍둥이를 붙이고(twin expansion), 새 식별자를 부여하고(relabeling), 도구와 인자를 섞는다(reordering). 세 번째 단계가 핵심인 일관성 KL이다. 토큰이 아니라 행동 분포를 비교하는데, 행동은 선언된 도구 또는 호출 없음을 뜻하는 ∅이고 이름이나 위치가 아니라 동등성 기준으로 인덱싱한다. 응답을 고정하고 이름만 바꾼 복사본에서 각 결정의 분포를 비교하는 rescoring 일관성 KL은 추가 생성 없이 순전파만으로 계산되며, 각 인터페이스가 자체 응답을 생성하도록 허용한 뒤 평균 행동 분포를 비교하는 rollout 일관성 KL은 인터페이스에 따라 추론이 달라지는 것을 벌하지 않는다. 목적함수는 과제 손실에 두 항을 가중합한 형태이고, 참조 분포는 정규화 인터페이스 아래의 자기 정책이며 그래디언트는 정지시킨다. 교란 인터페이스만 선언하는 도구는 참조 확률이 0이 되므로 참조 확률에 작은 상수를 바닥값으로 둔다. 일관성 항은 보상이 아니라 손실에 더해지므로 두 인터페이스의 합의가 정답 호출을 대체할 수 없다.
어떻게 쓰나
실험은 공개된 ToolRL 레시피 위에서 GRPO로 3,920개 훈련 예제를 사용해 진행됐다. 백본은 도구를 프롬프트에 넣는 Qwen2.5-3B-Instruct와 사고 과정과 네이티브 함수 호출을 쓰는 Qwen3.5-4B 두 가지다. 비교 대상은 포스트트레이닝 없는 Base, 표준 포스트트레이닝인 ToolRL(GRPO), 교란 인터페이스를 추가한 다중 인터페이스 훈련, 여기에 두 일관성 항을 더한 CIPR이다. 평가는 참조 호출이 있는 BFCL v4의 단일 턴 2,501개 항목에 대해 RobustBench-TC에서 가져온 13종 교란으로 이뤄졌고, 훈련에는 쓰이지 않은 이 교란들을 오타·방해 도구, 비용·지연(명시), 비용·지연(암묵) 세 그룹으로 묶어 보고한다. 명시 버전은 '비용 효율적인 것을 써 달라'처럼 선호를 알려주지만, 암묵 버전은 사용 가능한 도구를 설명해 달라고만 하고 선호를 말하지 않아 더 어렵다. 여기에 τ²-bench의 airline·retail 다중 턴 과제와 RoTBench 결과도 부록에 실린다.
전제와 한계
핵심 수치는 이렇다. 홀드아웃 인터페이스 교란은 포스트트레이닝된 에이전트의 정확도를 거의 25% 떨어뜨리고, CIPR은 10.5%를 회복하면서 바뀌지 않은 인터페이스의 정확도는 유지한다. Qwen2.5-3B에서 ToolRL(GRPO)은 원래 정확도를 9.6포인트 올렸지만 교란 격차는 29.8에서 32.7포인트로 오히려 커졌다. 익숙한 이름이 이제 더 나쁜 도구를 가리키기 때문이다. Qwen3.5-4B에서는 격차가 10.2에서 8.4포인트로 줄어드는 데 그친다. CIPR은 두 백본 모두에서 원래 인터페이스와 모든 홀드아웃 그룹에서 다중 인터페이스 훈련보다 높고, 훈련에서 본 적 없는 비용·지연 교란에서 가장 큰 이득을 낸다(Qwen2.5-3B에서 2.1·2.7포인트, Qwen3.5-4B 암묵 버전에서 2.3포인트). ToolRL(GRPO) 대비 교란 하 평균 정확도는 각각 15.5포인트와 4.3포인트 높다. 다만 τ²-bench에서는 CIPR 모델이 원래 보상과 교란 평균 보상의 격차가 가장 작을 뿐, 원래 이름을 쓴 ToolRL(GRPO)이 원래 인터페이스와 모든 그룹에서 더 높은 보상을 받는다.
지도학습 포스트트레이닝에서는 WebShop에서 search와 click 두 행동을 쓰는 AgentLM-7B를 다룬다. 이 행동을 동의어인 find와 press로 바꾸면 공개 모델의 보상이 78.9에서 5.5로 무너진다. 자기 증류로 CIPR을 적용하면 배포 인터페이스인 정규화 이름에서 81.0에 도달하고, 같은 어댑터를 쓴 공개 모델의 75.7보다 높다. 이름을 직접 보는 조건에서도 중립적 재명명에 76.0으로 견고하지만, 서로를 가리키는 이름을 맞바꾸면 두 모델 모두 0이 된다. 절제 실험(Qwen2.5-3B, 정규화 이름)에서 일관성 KL을 빼면 명시 비용·지연 정확도가 53.6%에서 51.7%로, 원래 인터페이스가 74.9%에서 73.5%로 떨어진다. 쌍둥이를 빼면 48.1%로, 쌍둥이와 재정렬 대신 근접 중복 도구 하나만 넣으면 43.7%로 정규화 이름을 쓴 ToolRL(GRPO)보다 낮아진다. 도구 하나만 추가해 훈련한 모델은 비용 정보 대신 위치에 의존해, 정답 도구가 앞에 있을 때 70.8%, 더 비싼 동등 도구가 앞에 있을 때 16.5%를 기록한다. 추론 시 정규화도 필요하다. 원래 이름으로 평가하면 명시 비용·지연에서 28.7%에 그치지만 정규화 이름에서는 60.5%다.
실무적으로 이 논문은 도구 레지스트리가 자주 바뀌거나 여러 제공자의 API를 합쳐 쓰는 에이전트를 파인튜닝할 때 참고할 만하다. 적용하려면 배포 파이프라인에 정규화 어댑터를 넣어야 하고, 훈련 데이터에서 교란 인터페이스와 열등 쌍둥이 도구를 만들 수 있어야 한다. 일관성 항이 보상이 아니라 손실에 더해진다는 설계는 과제 정확도를 합의로 대체하는 보상 해킹을 막는 장치이므로, 자체 학습 루프에 옮길 때 이 위치를 바꾸지 않는 편이 좋다. 또 이 방법은 어떤 도구를 호출하는지만 다루므로 인자 값 오류는 별도 검증과 평가가 필요하다.
저자들이 밝힌 한계는 분명하다. CIPR은 추론 시 정규화 어댑터를 요구한다. 행동을 잘못 나타내는 이름(예: 서로 맞바뀐 WebShop 이름)은 그것을 직접 보는 훈련된 에이전트를 여전히 오도하기 때문이다. 일관성 KL은 어떤 도구를 호출하는지와 호출 여부만 제약하고 인자는 과제 손실만으로 학습되며, 오류 분석에서 인자 오류는 거의 변하지 않았다. 동등성이 알려진 교란을 요구하므로 도구 목록에는 자연스럽지만 프로그램 편집처럼 더 풍부한 행동에는 구성이 어렵다. rollout 일관성 KL은 프롬프트마다 추가 롤아웃 그룹을 샘플링해 훈련 비용을 높인다. 실험은 최대 9B 파라미터 모델, 구성당 한 번의 훈련 실행, 대부분 단일 턴 함수 호출에 한정되어 있어 더 큰 규모와 긴 다중 턴 과제에서의 효과는 아직 확립되지 않았다.