LLM 창의성은 참조 분포 롱테일에서의 과제 성능으로 측정된다
Evaluating LLM Creativity through Long-Tail Performance
무엇인가
LLM 창의성 벤치마크는 과제와 지표 설계가 워낙 제각각이라, 서로 다른 벤치마크가 과연 같은 창의성 개념을 재고 있는지가 불분명하다. 이 논문은 그 공통 목표를 참조 입출력 분포 P_ref(x,y)의 롱테일에 놓인 과제별 성능으로 형식화할 수 있다고 제안한다. 참조 분포는 사전학습 코퍼스처럼 선택된 텍스트 원천에 비추어 어떤 입력과 출력이 얼마나 흔한지를 규정하며, 창의성 평가란 곧 그 분포에서 확률이 낮은 영역, 즉 모델이 드문 입력이나 드문 출력에서도 높은 품질을 낼 수 있는지를 묻는 일이 된다는 것이다. 표준 벤치마크는 확률이 높은 피크 영역을 재는 반면, 창의성 벤치마크는 입력이 드문 경우, 입력 대비 출력이 드문 경우, 혹은 둘 다 드문 경우로 평가를 옮긴다.
어떻게 동작하나
방법의 골격은 분해식 P_ref(x,y) = P_ref(x) · P_ref(y|x)다. 이 식은 입력 확률과 입력 조건부 출력 확률을 두 축으로 하는 2차원 평면을 만들고, 각 입출력 쌍을 그 평면의 한 점으로 놓는다. 이 평면은 피크(둘 다 흔함), 입력 꼬리, 출력 꼬리, 결합 꼬리의 네 사분면으로 나뉜다. 결합 확률을 단조 감소 변환한 novelty 점수 s_ref(x,y)를 정의하고, 한 프롬프트에 대한 여러 모델 출력의 novelty를 집계해 프롬프트 수준 점수 S_B(x)를 만든다. 같은 입력을 공유하는 입출력 쌍은 같은 점수로 함께 묶여, 모든 모델이 동일한 프롬프트 위에서 비교된다.
무엇과 다른가
이론적 근거는 창의성을 novelty와 quality의 곱으로 보는 공식화에 있다. 벤치마크 수준 창의성 점수 C는 S_B(X)와 모델의 기대 품질 q̄(X)의 곱의 기댓값으로 정의되는데, 이를 임계값 t에 대해 다시 쓰면 C = ∫ H_B(t) A(t) dt가 된다. H_B(t)는 novelty가 t 이상인 꼬리의 질량, A(t)는 그 꼬리에서의 모델 품질이다. 이 항등식의 핵심은 novelty가 S_B(x)인 입력에서의 품질 차이가 t ≤ S_B(x)인 모든 임계값에 걸쳐 누적되어 총 가중치 S_B(x)를 받는다는 점이다. 즉 같은 품질 차이라도 더 높은 novelty 영역에서 발생하면 전체 창의성 차이에 더 크게 기여한다. 유한한 벤치마크로 꼬리 전체 곡선을 정밀하게 추정할 수는 없으므로, 벤치마크의 상위 α 비율 꼬리 구간에서의 평균 과제 품질을 재는 q@Tail(α)를 진단 지표로 도입한다.
어떻게 쓰나
실험은 Pile 사전학습 코퍼스를 참조 분포로 삼고 Infini-Gram-Mini로 n-gram 등장 여부를 질의하는 방식으로 이뤄졌다. novelty는 텍스트의 n-gram 중 코퍼스에 없는 비율로 정의하며, 본 실험은 n=4를 쓰고 n=5, 6에서도 결과가 일관됨을 확인했다. Pile은 평가 대상 벤치마크보다 먼저 만들어져 직접적 오염을 줄인다. 평가에는 15개 벤치마크와 26개 오픈웨이트 모델이 쓰였고, 도메인은 자유 형식 글쓰기 10개, 수학 추론 2개, 자유 형식 QA 3개다. 창의성 벤치마크로는 Arena-Hard Creative Writing, CS4, CreativeMath, Braingle, MacGyver가, 표준 벤치마크로는 Alpaca, AIME-All, Commonsense-QA가 포함됐다. 품질 지표는 도메인 내에서 고정했는데, 정답이 있는 수학·QA는 LM-Eval-Harness의 정확 일치, 개방형 생성은 RewardBench-v2 상위 모델인 Skywork-Reward-V2-Llama-3.1-8B의 정규화 보상을 사용했다.
전제와 한계
결과는 세 도메인 모두에서 창의성 벤치마크가 표준 벤치마크보다 분포의 꼬리에 더 깊이 위치함을 보였다. 글쓰기에서 Arena-Hard Creative Writing은 입력·출력 두 축 모두 약 0.6~0.7로 표준 벤치마크보다 훨씬 높았고, 수학에서는 CreativeMath가 AIME-All보다 novelty(x) 축에서 오른쪽에, QA에서는 MacGyver와 Braingle이 CommonsenseQA보다 novelty(y|x) 축에서 위에 놓였다. 글쓰기 도메인에서 두 분포가 다르다는 통계 검정은 모두 p<0.001이었다. 저자들은 창의성 유도 방식도 세 갈래로 나눈다. 전문가가 희귀 문제를 선별하는 큐레이션은 입력 꼬리로, 창의적으로 쓰라고 지시하는 처방은 출력 꼬리로, 특정 배경·금지 조건을 부과하는 제약은 결합 꼬리로 평가를 이동시킨다.
인간 판단과의 정합성도 확인했다. 각 벤치마크의 입출력 쌍을 novelty 점수로 정렬해 5개 구간으로 나누고, 구간별 모델 순위와 LM Arena 창의적 글쓰기 순위의 Kendall τ를 계산했다. Arena-Hard Creative Writing에서 꼬리 구간인 4~5분위는 τ=+0.33이었고, 피크 구간인 1~3분위는 +0.06~+0.15에 그쳤다. 창의성용으로 설계되지 않은 GPQA-Diamond에서도 같은 패턴이 나타났다. 10구간 해상도에서도 구간 novelty와 인간 순위 일치도의 상관은 Spearman ρ=0.661~0.855, p=0.0016~0.0376으로 유의했다. 벤치마크 간 비교에서는 가장 꼬리에 있는 Arena-Hard Creative Writing이 τ=0.37(p=0.029)이었고, 저 novelty 쪽인 Alpaca는 τ=0.16으로 유의하지 않았다(p=0.37). 8개 글쓰기 벤치마크 전체에서는 상관이 양수지만 약했다(Spearman ρ=0.26).
이 진단을 창의성 촉진 기법에 적용한 결과는 냉정하다. min-p 샘플링, temperature scaling, 페르소나, 수렴-발산 사고, Branch-Solve-Merge, 자기 일관성, 메타 프롬프팅 같은 추론 시점 개입과 CrPO-SFT·DPO 같은 학습 시점 기법을 평가했을 때, 대부분은 피크 구간의 novelty를 높였지만 꼬리 구간 품질은 바닐라 모델보다 낮았다. 반대로 min-p 샘플링은 꼬리 품질을 17.7% 개선했지만 전체 novelty와 피크 novelty를 각각 16.3%, 44.2% 떨어뜨렸다. 꼬리 품질과 피크 novelty를 동시에 개선한 기법은 없었다. 저자들은 또한 창의성이 난이도와 동일하지 않음을 보인다. MATH와 Cambridge CEFR에서 난이도 분할과 novelty 분할의 겹침은 0.07과 0.23으로 무작위에 가까웠다.
개발자 관점에서 이 논문이 주는 실용적 지침은 두 가지다. 첫째, 창의성 평가를 새로 설계하지 않고도 기존 벤치마크의 상위 꼬리 구간만 떼어 q@Tail(α)를 계산하면 저비용 진단이 된다는 점이다. 다만 어떤 참조 분포를 쓰느냐가 무엇을 novel로 볼지를 결정하므로, 일반 사용자 대상 서비스라면 Pile 같은 광범위 텍스트를, 특정 분야 전문가 대상이라면 해당 분야 문헌 중심의 참조를 골라야 한다. 둘째, 프롬프트나 디코딩 파라미터로 출력의 희귀도를 올리는 것과 드문 영역에서도 품질을 유지하는 것은 다른 능력이라는 경고다. 꼬리 품질을 끌어올리는 것은 더 어려운 문제이며, 저자들은 사후학습·사전학습 단계에서의 롱테일 학습을 다음 방향으로 지목한다.
한계도 분명히 밝힌다. novelty를 Pile의 n-gram 통계로 근사하기 때문에 표면적 희귀성만 잡고 의미적·개념적·문화적 새로움은 직접 측정하지 못한다. 참조 분포를 인간 창작 코퍼스나 모델 자기 샘플, 도메인 특화 코퍼스로 바꾸면 꼬리 추정치가 달라질 수 있다. 순위와 q@Tail은 품질 추정기 선택에 의존하며, 보상 모델·LLM 심판·인간 보정 품질 간 강건성은 충분히 탐구되지 않았다. 인간 정합성 분석의 핵심 근거가 LM Arena 창의적 글쓰기 순위 하나에 의존하는데, 이는 자기 선택된 사용자들의 총체적 선호이지 창의성만 분리한 판단이 아니다. 창의성 촉진 기법 평가는 자원 제약으로 7~8B 오픈 모델에 한정됐다. 마지막으로 저자들은 q@Tail을 정교한 창의성 벤치마크의 대체물이 아니라 진단적 근사로 규정하며, LM Arena 창의성 순위 자체가 전반적 모델 역량과 강하게 결합돼 있어 꼬리 성능의 예측 신호를 창의성에만 귀속시킬 수 없다고 인정한다.