GEPA 병합은 고장난 연산자가 아니라 설정에 민감한 연산자다

무엇인가

GEPA는 파라미터 업데이트 없이 프롬프트를 개선하는 반성적(reflective) 최적화기 중 가장 강력한 축에 속하지만, 두 진화 후보를 합치는 system-aware merge 연산자가 모델에 따라 다르게 작동한다. 동일한 설정에서 merge는 gpt-4.1-mini를 평균 +1.14pp 개선하고 Qwen3-8B는 -2.45pp 악화시켰는데, GEPA 원 논문은 이 비대칭을 지적만 하고 설명하지 않았다. 원 논문은 원인을 merge 시점과 횟수 같은 고정 하이퍼파라미터로 추정하면서도 실제 ablation은 하지 않았다. 이 논문은 그 빈자리를 직접 메운다. 질문은 하나다. 이 불안정성은 연산자 자체의 알고리즘적 결함인가, 아니면 언제 어떻게 호출하느냐의 문제인가.

어떻게 동작하나

방법은 체계적인 설정 스윕이다. 5개 데이터셋(HotpotQA, HoVer, IFBench는 GEPA 원 논문에서 비교 가능성을 위해 유지하고, MuSiQue와 2WikiMultiHopQA를 멀티홉 탐침으로 추가했다. Qwen3-8B의 낮은 파싱률 때문에 PUPA는 제외했다) × 2개 모델(gpt-4.1-mini, Qwen3-8B, 사고 모드 비활성) × 9개 설정, 즉 3가지 타이밍 정책과 3가지 연산자 변형의 조합을 NoMerge 베이스라인과 비교한다. 타이밍은 첫 반성적 변이 직후부터 merge를 허용하는 immediate(논문 기본값), 검증 성능이 k=3회 연속 개선되지 않을 때만 발동하는 score plateau, 메트릭 호출 예산의 33%를 소진할 때까지 merge를 보류하는 budget proportional이다. 연산자는 점수가 높은 부모의 지시문을 그대로 택하는 original(셔플러), 두 부모 지시문을 점수 순으로 이어붙이는 combine all(누산기), 보조 LM으로 하나의 지시문을 합성하는 summarize before(재작성기)다. 구현은 DSPy 위에 올렸고, 테스트 평가는 태스크당 300개 예시, 메트릭 호출 예산은 IFBench 3,593에서 HoVer 7,051까지 원 논문과 동일하게 맞췄다. 테스트 점수가 대응 NoMerge 베이스라인보다 20pp 이상 낮은 셀은 파국적 셀로 정의했다.

무엇과 다른가

스윕 결과는 세 가지다. 첫째, 모든 (모델, 벤치마크) 쌍에서 최소 하나의 merge 설정이 NoMerge를 앞선다. merge는 조건부로 유용하다. 둘째, 그 승리는 단일한 최적 설정에서 나오지 않는다. 6개의 서로 다른 (연산자, 타이밍) 조합이 최소 한 번씩 승리를 가져갔고, 논문 기본값인 original × immediate는 그중 거의 없다. 셋째, 그럼에도 Δ ≤ -20pp인 파국적 셀 세 개가 남는다. 패턴도 읽힌다. combine all은 Qwen3-8B에서 가장 위험해 파국 셀 세 개 중 하나를 만들었고(merge마다 프롬프트 길이가 평균 약 60% 늘어난다), 같은 연산자가 gpt-4.1-mini에서는 무해했다. 타이밍별로는 score plateau가 30번의 비교 중 16번에서 최선이자 최고 단일 개선폭 +6.34pp, 파국 최소를 기록했고, immediate는 승리 비교에서 평균 개선폭이 +3.04pp로 가장 크지만 파국 밀도도 가장 높았으며, budget proportional은 최고 개선폭이 +4.25pp로 가장 보수적이면서도 최악의 꼬리 사건(-35.67pp)을 품고 있었다. 데이터셋별로는 MuSiQue가 두 모델 모두 완만한 개선을, 2WikiMultiHopQA가 가장 큰 파국적 퇴행을 냈는데, 피드백 입자도 차이(조밀한 MuSiQue vs 희박한 2Wiki)로 설명된다. IFBench는 엄격한 형식 평가 탓에 프롬프트 비대에 특히 민감했다. 중요한 단서는 다중 시드 감사다. NoMerge 자체가 시드에 따라 3~5pp 흔들렸고(특히 HotpotQA, MuSiQue), Qwen의 파국 셀은 시드 1, 2에서 재현되지 않고 NoMerge 근처로 돌아왔다. 즉 히트맵은 특정 설정의 시드 안정적 최적성을 증명하는 것이 아니라 패턴 수준 결론용이다.

어떻게 쓰나

이 논문의 핵심 진단은 merge의 품질이 텍스트가 아니라 행동에 있다는 것이다. 16개의 프롬프트 전용 피처(어휘 중복, 계보 구조, 의미 유사도, LLM 판정 점수)로 213개의 수용된 merge와 52개의 재구성된 거부 merge를 GroupKFold로 학습시켰지만 ROC-AUC는 0.58 이하로 랜덤(0.50)에 가까웠다. 반면 GEPA의 수용 게이트 신호를 직접 담은 행동 프로파일 피처는 AUC 0.987에 도달했다. 또 반성적 변이가 merge보다 직접 이득이 크다. Qwen3-8B 후보 1,300개, gpt-4.1-mini 후보 918개를 분석하면 Qwen에서 반성의 스텝당 검증 이득이 merge보다 약 10배 크고, GPT에서는 merge가 평균 소폭 음수인 반면 반성은 계속 양수다. 반성 LM의 출력을 2,000 토큰으로 자르면 Qwen 4개 벤치마크에서 테스트 성능이 평균 3.46pp 떨어졌고, IFBench에서는 61건의 절단이 발생해 전부 수용되지 못했다. 마지막으로 검증-테스트 상관이 선택 신뢰도의 상한을 정한다. IFBench는 두 모델 모두 상관이 거의 0이었고, HoVer는 GPT에서 r=+0.63, Qwen에서 r=-0.06으로 갈렸다. 상관이 0에 가까운 셀의 나쁜 merge 성능은 merge 정책의 실패가 아니라 검증 신호의 노이즈로 읽어야 한다.

전제와 한계

이 진단들을 실행 가능한 게이트로 옮긴 것이 4계층 행동 프로브다. 반성 탐색이 예산을 충분히 쓰고 최근 검증 진보가 정체될 때까지 merge를 지연하는 plateau 시작 게이트, 약한 부모 쌍과 예측기 간 계보 성숙도가 크게 불균형한 쌍을 건너뛰는 게이트, 검증 오류가 겹치지 않는 상보적 부모 쌍을 우선하는 선택 규칙, 프롬프트가 비대하거나 부모 행동이 상보적일 때 재작성 연산자로 라우팅하는 규칙이다. 임계값은 모든 실행에서 고정했고 두 모델, 다섯 태스크에 그대로 적용했다. 결과는 안전판에 가깝다. 29개의 짝지은 다중 시드 결과 중 파국 기준(-20pp)에 근접한 실행은 없었고 -10.00pp 아래로 떨어진 경우도 없었다(최악은 Qwen × HotpotQA 시드 1의 정확히 -10.00pp). 문서화된 GPT × 2WikiMultiHopQA 파국 셀(-28.66pp)에서는 프로브가 1,016회의 반성 반복 동안 merge를 한 번도 수용하지 않고 NoMerge와 사실상 동률로 끝났다. 다만 GPT에서는 다섯 태스크 모두 평균 Δ가 양수였지만 Qwen에서는 다섯 중 셋만 양수였고, 프로브가 NoMerge를 일관되게 앞서지는 못한다.

개발자 관점의 실무 결론은 명확하다. GEPA merge를 켤 때 기본값을 그대로 쓰지 마라. 스윕에서 논문 기본값은 승자에 거의 들지 않았다. merge는 조기 발동을 피하고(plateau 트리거), 프롬프트 비대에 취약한 소형 모델과 엄격한 형식 태스크에서는 concatenate보다 원본 규칙이나 재작성기를 쓰는 편이 낫다. 또한 merge 설정 간 차이를 비교하기 전에 NoMerge 베이스라인 자체의 시드 분산(3~5pp)을 먼저 측정해야 한다. 그 노이즈 플로어보다 작은 델타는 설정 효과가 아니다. merge 품질을 프롬프트 문구를 들여다보며 판정하려는 시도도 효과가 없었다. 부모 강도, 검증 궤적, 상보성, 검증-테스트 전이 같은 실행 신호가 판정 근거가 되어야 한다.

저자들이 밝힌 한계는 다음과 같다. GEPA는 시드 간 분산이 커서 merge 설정 간 차이에 필적할 때가 있어, 단일 시드의 작은 이득은 신중히 다뤄야 한다. 프로그램 LM을 gpt-4.1-mini와 Qwen3-8B 두 개만 벤치마크했으므로 프롬프트 비대 민감도, 반성 품질, merge 허용도가 모델 규모에 따라 달라질 수 있고 Qwen3-4B, Qwen3-14B, 더 큰 상용 모델로 결과가 그대로 전이된다고 볼 수 없다. 각 스윕 셀이 단일 롤아웃 예산만 쓰기 때문에 예산이 더 작거나 클 때 최적 타이밍·연산자가 바뀌는지는 알 수 없다. 행동 프로브 역시 여러 가능한 게이트 중 하나이며, 큰 실패를 줄인다는 증거는 있지만 최종적이거나 최적의 merge 정책은 아니라고 저자들은 명시한다.