DynaFlow가 메인 에이전트만 학습해 자유형 다중 에이전트 협업을 구성한다

무엇인가

이 논문은 LLM 기반 다중 에이전트 시스템이 미리 정한 역할·통신 패턴·워크플로 구성 요소에 의존하는 문제를 다룬다. 작업마다 협업 요구가 다른데, 단순 질의는 에이전트 하나로 충분하고 독립 하위 작업은 병렬 실행이 유리하며 의존 단계는 상위 결과를 안정적으로 받아야 한다. 고정 구조를 모든 작업에 적용하면 불필요한 통신·지연·계산이 생긴다. 저자들은 '자유 오케스트레이션'을 협업이 유용한 시점을 판단하고 문제 해결 중 작업별 워크플로를 구성하는 능력으로 정의하고, 실행 가능한 워크플로 합성을 도구 사용과 나란한 메인 에이전트의 기본 행동으로 넣는다. 기존 자동 워크플로 설계가 유한한 연산자 템플릿에 묶이거나 중간 실행 결과를 보지 않고 한 번에 전체 구조를 생성하는 한계를 지적한다.

어떻게 동작하나

DynaFlow의 행동 공간은 일반 도구 호출 집합 A_tool, 최종 답변 A_ans, 그리고 메인 에이전트가 작성한 JavaScript 프로그램 P와 워크플로 도구 W를 통한 호출 (P,W(P))의 합집합이다. k번째 턴에서 메인 에이전트는 지시 I, 질문 q, 이전 행동·관찰 이력 h_{k-1}을 조건으로 a_k를 생성한다. 즉 같은 정책이 답변할지, 도구를 쓸지, 워크플로를 만들고 호출할지 결정한다. P는 에이전트 호출, 병렬 실행, 선택적 단계 라벨로 하위 에이전트 역할·단계·의존성을 정의한다. 독립 호출은 동시에 실행되고 의존 호출은 상위 출력을 명시적으로 받는다. 각 하위 에이전트는 P가 지정한 지시와 입력만 받는다. 예산 제약이 있는 런타임이 고정 하위 에이전트로 P를 실행하고, 프로그램 출력과 각 하위 호출의 상태·출력을 담은 실행 추적을 합친 관찰 o_k=W(P)를 반환한다. 메인 에이전트는 (a_k,o_k)를 이력에 붙이고 다음 행동을 정한다. 정보가 충분하면 A_ans로 끝내고, 아니면 검증·정제·확장을 위해 도구나 후속 워크플로를 호출한다. Dynamic 모드는 첫 결정에서 직접 답변과 워크플로 호출을 고르고, Forced 모드는 첫 실질 행동이 반드시 워크플로 호출이다. 워크플로 호출 후 메인 에이전트는 조정과 요약으로 제한되고 실질 문제 해결은 하위 에이전트에 위임된다.

무엇과 다른가

학습은 하위 에이전트를 모두 고정하고 메인 에이전트 정책만 갱신해 오케스트레이션 학습과 실행자 성능 향상을 분리한다. 1단계는 궤적 증류다. 교사 모델 GLM-5.3 Max가 같은 워크플로 인터페이스·도구·고정 하위 에이전트로 궤적을 만들고, 최종 답이 맞고 위임 프로토콜을 따른 궤적만 남긴다. 감독 대상은 메인 에이전트의 첫 턴 출력 s=(r,a_1)이며 r은 추론, a_1=(P,W(P))는 워크플로 행동이다. 손실 L_SFT(θ;D)=-Σ log π_θ(r,a_1|I,q)로 추론 토큰과 행동 토큰을 함께 학습하고 지시·질문·도구 정의는 마스킹한다. QLoRA로 2,031개의 교사 증류 첫 턴 예제를 학습한다. 2단계는 고품질 데이터 선택이다. LLM 심사자가 세 가지 결함을 찾는다. 첫째, 과제에 주어진 것 이상의 답 결정적 주장을 확립된 전제로 넣는 전제 주입. 둘째, 검증자에게 기대 답을 유도하거나 독립적 확인·수정을 제한하는 검증 결함. 셋째, 맥락 누락·잘못된 참조·손실 전달·상위 출력의 하드코딩 대체로 필요한 정보가 하위 에이전트에 도달하지 못하는 정보 흐름 결함. 검증 단계가 있을 때만 검증 결함을 평가하고, 보고된 결함마다 프로그램이나 실행 인자에서 일치하는 발췌를 요구한다. 통과한 첫 턴 예제만 D_2=J(D_1)로 남겨 712개로 Stage 1 체크포인트에서 더 작은 학습률로 이어 학습한다. 추가 학습 효과와 큐레이션 효과를 구분하기 위해 같은 크기의 무작위 부분집합 연속 학습 대조군이 필요하다고 밝힌다.

어떻게 쓰나

실험은 688문항이다. AIME 2024·2025·2026(합 90문항), PolyMATH 200, GPQA-Diamond 198, HotpotQA 200이며 PolyMATH와 HotpotQA는 시드 42로 샘플링했다. 메인과 하위 에이전트 모두 Qwen3.5-27B이고 하위 에이전트는 오케스트레이션 학습 없이 고정되며 양쪽 모두 thinking을 켠다. 비교는 CoT, CoT-SC(5개 답 집계), Self-Refine, AFlow, HotpotQA 맥락용 Base+웹 검색이다. AFlow는 MATH 공개 워크플로를 AIME·PolyMATH에, HotpotQA 공개 워크플로를 HotpotQA·GPQA-Diamond에 새 탐색 없이 전이했다. DynaFlow는 Forced 모드 88.08%, Dynamic 모드 87.94%로 동일 Qwen3.5-27B 백본의 가장 강한 평가 베이스라인보다 10.90%포인트 높다. AIME는 Forced에서 90문항 전부 100%를 풀었고 PolyMATH는 두 모드 모두 가장 강한 베이스라인보다 3~4%포인트 높다. GPQA-Diamond Forced는 84.85%로 Base Forced보다 7.07%포인트 높지만 Self-Refine과 AFlow가 이 벤치마크에서는 여전히 앞선다. HotpotQA는 Dynamic 84.50%, Forced 83.50%로 Base+웹 검색보다 6~7%포인트 높다. Base Forced는 HotpotQA를 제외한 모든 벤치마크에서 Base Direct보다 낮았지만, Stage 1 후 Forced는 여섯 벤치마크 모두에서 Base Direct에 도달하거나 넘었고 같은 체크포인트의 Direct보다 전체 8.73%포인트 높았다. Stage 2는 Forced와 Dynamic을 모두 더 개선한다.

전제와 한계

워크플로 분석은 성능 향상이 어떤 구조 변화와 함께 오는지 보여준다. 병렬과 순차 단계를 섞은 하이브리드 워크플로 비율은 Base 3.4%에서 Stage 1 83.2%, Stage 2 85.6%로 뛴다. 상위 출력을 전달하고 하위 에이전트가 이를 명시적으로 쓰도록 지시한 프로그램 비율은 Base 12.6%에서 Stage 1 93.3%, Stage 2 97.7%로 증가한다. 주요 정보 흐름 결함은 Stage 1 1.9%에서 Stage 2 0.9%로 줄고, 중간 결과의 수정·정제를 명시한 워크플로는 28.1%에서 35.9%로 늘었다. 평균 하위 에이전트 수는 Stage 2가 4.16개로 Stage 1의 4.35개보다 적다. Dynamic 모드에서 DynaFlow는 47.1%의 질문을 워크플로 없이 직접 답하면서도 87.94% 정확도를 내 Forced의 88.08%에 거의 근접한다. 전체 질문 평균으로는 질문당 2.44개 하위 에이전트를 써 Forced의 약 4.16개보다 약 41% 적다. Dynamic-Forced 정확도 격차도 Base 10.75%포인트에서 Stage 1 1.02, DynaFlow 0.14로 줄어든다. 역할 구성은 과제별로 다르다. AIME와 PolyMATH는 해결자·검증자가 노드의 90% 이상이고 HotpotQA는 연구자가 59.6%이며, 검증은 전 과제에서 노드의 33.2~43.9%를 차지한다. 메인 에이전트는 하위 에이전트마다 목표, 관련 입력, 상위 결과 활용법을 지정하는 프롬프트를 생성한다.

개발자 관점에서 이 논문은 멀티에이전트 시스템을 고정 파이프라인으로 먼저 굳히기보다, 메인 에이전트가 필요할 때만 협업을 호출하고 실행 추적을 보고 구조를 고치는 정책을 학습하는 방향을 제안한다. 특히 하위 에이전트를 고정해 두고 메인 에이전트만 학습하면 기존 모델을 실행자로 재사용하면서 오케스트레이션 품질을 따로 실험할 수 있다. 실무에서는 워크플로 프로그램, 예산 제약 런타임, 하위 호출별 상태·출력을 남기는 실행 추적을 함께 설계해야 하며, 전제 주입·기대 답으로 유도하는 검증·상위 출력의 손실 전달을 데이터 큐레이션 단계에서 걸러야 한다. 또한 Forced와 Dynamic을 모두 평가해 '협업이 항상 이득인가'와 '언제 직접 답할 것인가'를 분리해 봐야 한다. 이 논문의 결과는 에이전트 수를 늘리는 것만으로 성능이 오르지 않으며, 정보 흐름과 검증 독립성이 핵심 설계 변수임을 시사한다.

저자들이 밝힌 전제는 하위 에이전트를 고정해 실행자 능력 향상과 오케스트레이션 학습을 분리했다는 점이다. 따라서 이득은 기존 실행자 능력을 더 잘 조정하는 데서 나오며, 하위 에이전트 자체의 정보 전달·독립 검증 능력은 개선하지 않는다. GPQA-Diamond 실패 사례에서는 하위 에이전트의 잘못된 중간 결론이 이후 검증을 오도하고, 메인 에이전트가 최종 답을 합성할 때 올바른 증거를 우선하지 못하는 문제가 나타났다. 향후 과제로 하위 에이전트를 신뢰할 수 있는 정보 전달과 독립 검증에 맞춰 학습하고, 의견 불일치와 오류 결과가 포함된 다중 턴 궤적으로 첫 턴 감독을 확장해 메인 에이전트가 충돌하는 출력을 평가하고 오류를 식별해 오류 복구·워크플로 수정·최종 답 선택 행동을 고르도록 강화하는 일을 제안한다. 또한 도구 없는 베이스라인은 워크플로 설정과 같은 검색 접근 권한이 없어 HotpotQA 결과는 검색 가능 시스템과의 비교와 별도로 해석해야 한다고 명시한다.