응답 비율이 초기 인스트럭션 튜닝 데이터 품질을 가장 잘 예측한다

무엇인가

이 논문은 인스트럭션 튜닝에서 흔히 말하는 데이터 품질이 실제로 무엇을 의미하는지를 조작적으로 다룬다. 저자들은 품질을 절대적 속성으로 정의하지 않고, 고정된 파인튜닝 예산 아래에서 높은 점수를 받은 예제가 더 낮은 검증 혼란도와 더 높은 LLM-as-judge 점수를 내는지를 기준으로 학습 유용성을 비교한다. 즉 데이터셋 전체를 학습한 뒤 사후 상관을 해석하는 대신, 예제 수준 지표로 데이터를 나눠 각 구간을 따로 학습시켜 학습 곡선을 비교한다.

어떻게 동작하나

방법의 핵심은 네 가지 단순 지표다. 첫째는 예제의 토큰 길이이고, 둘째는 응답 비율로 정답 응답 토큰 수를 앞선 프롬프트 토큰 수로 나눈 값이다. 셋째는 의미 밀도로, 데이터셋 전체 정답 응답에서 추정한 각 응답 토큰의 역로그빈도를 평균한 값이다. 넷째는 의미 정렬로, all-MiniLM-L6-v2 Sentence Transformers로 측정한 프롬프트와 응답의 정렬도다. 각 지표에 대해 모든 학습 예제를 점수순으로 정렬한 뒤 예제 개수가 아니라 전체 토큰 질량의 약 33%와 66% 지점에서 잘라 0--33, 33--66, 66--100 세 구간을 만든다. 각 구간은 대략 같은 토큰 예산을 가지므로, 66--100 구간은 지표 값이 가장 높은 예제를 같은 비용으로 학습하는 셈이다.

무엇과 다른가

실험은 Qwen3.5-9B-Base와 Llama-3.1-8B, Natural Instructions와 FLAN 조합에서 진행됐다. 각 모델-데이터 조합의 네 지표와 세 구간마다 별도 LoRA 파인튜닝을 3에포크 수행하고 에포크 내 네 번 검증 혼란도를 계산했다. 핵심 비교만 2개 모델 × 2개 데이터셋 × 4개 지표 × 3개 구간 = 48회 학습이며, 이후 교차 절제 실험 24회가 추가된다. 학습에는 전체 학습 데이터의 10% 무작위 샘플을 사용하고 검증 분할은 유지했다. 지표가 유용하다면 높은 구간이 더 낮은 검증 혼란도와 더 높은 judge 점수를 보여야 한다.

어떻게 쓰나

결과적으로 응답 비율이 가장 안정적인 예측 지표였다. 길이 기반이 아닌 지표들도 혼란도 기준으로는 대체로 구간이 나뉘었고, 응답 비율은 66--100 구간과 다른 구간의 격차가 더 컸다. LLM-as-judge 점수는 초기 학습 단계라 구간 분리가 어려웠지만, 응답 비율의 66--100 구간은 네 모델-데이터 조합 모두에서 상위권이었고 의미 정렬과 의미 밀도도 자주 상위권이었다. 다만 FLAN에서는 의미 정렬과 의미 밀도의 66--100 구간이 최저 혼란도를 내지 못했고, 의미 정렬은 중간 구간이 가장 좋았다. 저자들은 Natural Instructions에서 응답 비율이 높은 예제가 가장 높은 의미 정렬 구간에 48.7% 몰려 있지만, FLAN에서는 중간 의미 정렬 구간에 49.2% 몰려 있다는 중첩 분석으로 이 현상을 설명한다.

전제와 한계

교차 절제 실험은 응답 비율이 더 근본적인 요인인지 확인한다. 한 지표의 최고 구간을 제거한 뒤 남은 데이터를 다른 지표로 다시 나눠 학습하는 방식이다. FLAN+Qwen에서 응답 비율이 높은 예제를 제거하고 의미 정렬로 다시 나누면, 원래 FLAN에서 강했던 의미 정렬의 33--66 구간이 더 이상 66--100 구간과 경쟁하지 못했다. 반대로 의미 정렬이 높은 예제를 제거해도 응답 비율의 혼란도와 judge 점수 곡선은 거의 변하지 않았다. 저자들은 이 비대칭성 때문에 응답 비율이 학습 유용성의 일차적 동인이고, 의미 정렬의 겉보기 효용 일부는 응답 비율과의 중첩으로 설명된다고 주장한다.

해석은 단순하다. 답변 밀도가 높은 감독이 중요하다는 것이다. 지도 파인튜닝에서 프롬프트 토큰은 조건 맥락을 주지만 가장 강한 학습 신호는 응답 토큰 예측에서 나온다. 고정 토큰 예산에서 프롬프트 길이를 희생하더라도 응답 비율이 높은 예제를 학습하면 검증 혼란도가 더 빠르고 낮게 내려간다. 저자들은 응답 비율이 높은 예제가 프롬프트를 충족하기 위해 정답이 가장 많이 확장되어야 하면서도 간결하고 주제에 맞는 경우가 많다고 본다. 실무에서는 데이터 품질을 하나의 보편 필터로 정의하기보다 응답 대 프롬프트 토큰 비율을 점검하고, 검증 혼란도와 judge 점수를 고정 예산에서 함께 비교해야 한다. 다만 응답 비율 같은 지표는 답변이 길고 밀도 높은 스타일을 선호해 짧지만 정답인 예제를 과소평가할 수 있다는 윤리적 주의가 붙는다.

저자들이 밝힌 한계도 분명하다. 모든 핵심 실험이 단일 시드라서 강건성 추정이 약하고, 전체 학습셋이 아니라 10% 샘플로 초기 학습만 본다. 데이터셋을 지표별 고수준 구간으로만 나눠 세밀한 패턴을 놓칠 수 있으며, 모델 크기는 7B~9B에 한정된다. 또한 어떤 지표도 절대적인 데이터 품질 정의라고 주장하지 않는다. 이 논문의 기여는 특정 조건에서 학습 유용성을 예측하는 단순 지표를 통제 비교하고, 응답 비율이 다른 지표보다 견고하다는 점을 보인 데 있다.