DNO-Prct의 실제 정렬 효과와 설계 요소를 두 오픈 모델에서 검증한다

무엇인가

이 논문은 언어모델 정렬에서 일반 선호 함수를 직접 다루는 Direct Nash Optimization(DNO)의 실용 변형 DNO-Prct를 독립 재구현해 경험적으로 검토한다. 기존 RLHF와 DPO식 접근은 보통 점별 Bradley–Terry 보상 모델을 가정해 비전이적 선호를 표현하지 못하고, 보상 모델이나 선호 데이터가 정책 변화에 따라 낡을 수 있다는 문제를 안는다. DNO는 두 플레이어 선호 게임의 내시균형, 즉 Minimax Winner를 찾는 것을 목표로 하며, 원 논문은 약 10배 많은 프롬프트와 6회 반복으로 7B 모델을 GPT-4 Turbo에 대한 AlpacaEval 2.0 길이통제 승률 33%까지 올렸다고 보고했지만 독립 재구현은 없었다. 이 논문은 그 재현과 설계 요소 검증에 초점을 둔다.

어떻게 동작하나

이론적 DNO는 현재 정책 π_t의 샘플에 대한 기대 승률을 보상 r_t로 정의하고, DPO의 암묵 보상 η log(π/π_t)+η log Z_t를 이용해 목표 선호 σ(Δ*_t)와 예측 선호 σ(Δ_{π,t})의 교차엔트로피를 최소화하는 소프트 정책 반복을 수행한다. 정확한 반복의 균등 혼합은 가정하에 내시균형으로 수렴하지만, 실용판 DNO-Prct는 유한 샘플과 LLM 평점, 마진 필터링, 룩백, 단일 체크포인트 선택으로 이를 근사할 뿐 이 보장을 상속하지 않는다. DNO-Prct의 한 반복은 세 단계다. 현재 정책에서 프롬프트당 K개 응답을 샘플링하고 교사의 gold 응답을 후보에 넣어 LLM 평가자가 루브릭으로 점수를 매긴 뒤, 점수 차이가 충분히 큰 쌍만 남기고 이전 반복 쌍을 감소 비율로 섞어 DPO식 대조 업데이트를 π_t를 참조 정책으로 수행한다. 큰 마진 필터는 목표 가중치를 1에 가깝게 만들어 대조 손실로 근사하기 위한 장치이지 내시 수렴의 조건은 아니다.

무엇과 다른가

실험은 UltraFeedback 63,967개 프롬프트에서 진행됐고, GPT-4o로 gold 응답을 생성했다. 베이스 모델은 Llama 3.1 8B Instruct와 Mistral 7B Instruct v0.1이며, 평가자는 GPT-4o 또는 같은 계열의 오픈웨이트 모델 Llama 3.1 70B Instruct, Mistral Large 2(123B)다. 3회 반복, LoRA rank 16·α 32·dropout 0.05, 유효 배치 32, NVIDIA A100 80GB 4장, DPO 손실 β=0.1 설정을 썼다. 비교 대상은 자체 구현 SFT, 오프라인 DPO, SPIN 스타일, DNO-Restrictive, SPPO, online DPO다. 평가는 AlpacaEval 2.0의 805개 프롬프트에서 GPT-4o와 GPT-4-0613을 상대로 한 raw 및 길이통제(LC) 승률로 수행했고, 심판은 GPT-4o다. 이 프로토콜은 공개 리더보드와 달라 수치를 다른 논문과 직접 비교할 수 없고, 모든 셀은 단일 실행이다.

어떻게 쓰나

주요 결과로 GPT-4o 심판·상대 기준 LC 승률은 Llama 3.1 8B Instruct가 31.71%에서 45.32%로, Mistral 7B Instruct v0.1이 6.77%에서 18.44%로 상승했다. 조정된 8B 모델은 보고된 네 가지 승률 모두에서 Llama 3.1 70B Instruct보다 높았고, 조정된 Mistral 7B는 Mixtral 8x7B Instruct v0.1과의 격차를 0.2~12.8점으로 좁혔다. GPT-4o 대신 같은 계열 오픈웨이트 평가자를 쓰면 GPT-4o 상대 LC 이득의 62%(Llama), 82%(Mistral)가 유지됐고, GPT-4-0613 상대에서는 Llama가 45%를 유지하고 Mistral은 GPT-4o 평가자 실행과 맞먹었다. 제거 실험에서는 gold 응답 제거, 룩백 제거, 교사 선호 쌍만 수용이 전체 절차보다 GPT-4o 상대 LC 6~10점 낮았고(GPT-4-0613 상대 9~19점), 프롬프트당 on-policy 샘플 수 1~7 변화는 최대 2.1점, 마진 1~5 변화는 별도 파이프라인에서 최대 2.4점 차이에 그쳤다. 저자들은 이 차이가 각 구성 요소의 기여도를 분해하지는 않는다고 명시한다.

전제와 한계

교사-학생 분석에서 학생 응답의 평균 평점은 반복마다 올랐고, 선택된 쌍 중 학생 응답이 양성인 비율도 증가했다. Llama 3.1 8B는 1회차 학생 3.28 대 교사 4.86이었으나 2회차 4.43 대 4.42, 3회차에는 학생이 0.26점 높았고, 3회차에는 S≻T 쌍이 7,602개로 T≻S 6,057개보다 많았다. Mistral 7B는 3회차 학생 평점 4.13으로 교사 4.66보다 낮았지만 학생 양성 쌍 비율이 33.45%에서 77.01%로 두 배 이상 늘었다. 다만 교사 평점도 Llama에서 4.86에서 4.26으로 떨어지는데, 반복마다 다른 프롬프트 분할을 쓰고 여러 응답을 나란히 채점하기 때문에 더 어려운 프롬프트와 상대 채점 효과를 분리할 수 없다고 저자들은 말한다. 비용은 프롬프트 n개당 약 2n회 API 호출로 추정되어 63,967개 프롬프트에서 약 128,000회, 2024년 기록은 약 126,000회였고, 3회 반복 파이프라인은 멀티스레드 평가 기준 단계 합계 33~42시간, 실제 종단 간 35~45시간이 걸렸다.

한계는 매우 구체적이다. GPT-4o가 gold 응답 생성자, 평가자, AlpacaEval 심판, 상대 모델까지 맡아 각 반복 선택 쌍의 23~67%가 GPT-4o 응답을 양성으로 가진다. gold 응답은 평점 질의에서 항상 마지막 후보이고, LLM 심판은 자기와 유사한 출력을 선호하는 경향이 있다. 논문은 같은 모델이 심판과 데이터 생성자일 때 평균 선호 누출 점수가 약 24%, 같은 계열일 때 3~9%라는 다른 연구를 인용하며, 오픈웨이트 평가자 실행은 심판이 그대로라 평가 단계의 부분적 통제일 뿐이라고 인정한다. 모든 결과가 단일 실행이고 평가 프로토콜이 비표준이며 인간 선호 연구는 없고, 비전이적 선호 처리는 시험되지 않았다. 응답 길이는 Llama 3,786자, Mistral 7,506자까지 늘었지만 길이 통제나 동일 길이 분석은 없어 보상 해킹 패턴과 구분되지 않는다. AlpacaEval 2.0에서 고정된 적대적 출력이 86.5% LC를 얻었다는 연구와 13/805개 프롬프트의 UltraFeedback 겹침(정확 일치 상한 약 1.6%)도 언급하며, 70.18% 같은 높은 절대 LC 값은 이 심판 아래의 선호 증거이지 일반 품질의 증거가 아니라고 본다. 학습률을 첫 에포크/반복 후 보고 평가로 고른 점, SPPO와 online DPO가 베이스 모델보다 낮아 해당 방법에 대한 결론을 내리지 않는 점, SPIN이 원 레시피가 아닌 교사 항상 양성 규칙으로 근사된 점도 한계로 남는다.

개발자 관점에서 이 논문이 주는 실무적 결론은 DNO-Prct를 쓸 때 교사의 gold 응답을 후보에 넣고, 이전 반복 쌍을 룩백으로 섞고, 교사와 학생 응답을 함께 평가해 학생 응답이 양성이 될 수 있게 하는 기본값을 유지하라는 것이다. 반면 프롬프트당 샘플 수와 마진 값은 이 예산에서는 상대적으로 둔감했으므로, 이들을 성능의 핵심 레버로 기대하기보다 데이터 구성과 평가 설계를 먼저 점검하는 편이 낫다. 자체 파이프라인을 만들 때는 GPT-4o 같은 교사·심판 일체형 구성을 피하고 독립 심판, 반복 실행, 동일 길이 분석, 인간 평가, 표준 벤치마크의 능력 회귀 검사를 추가해야 한다. 또한 DNO-Prct의 큰 마진 근사는 이론적 보상 스케일에서 보정된 마진이 아니고, 고정 순서 평점과 불완전한 LLM 평점, 반복 중 off-policy가 되는 유한 샘플 같은 근사 오차가 남는다는 점을 전제로 삼아야 한다.