단일 프롬프트를 여러 모델·여러 시점에 돌리는 LLM 벤치마크 'LLM Ass Bench' 공개

'LLM Ass Bench'라는 이름의 LLM 벤치마크가 해커뉴스에 올라왔다. 이 벤치마크의 핵심은 세 가지 축이다. 하나의 프롬프트, 여러 모델, 그리고 여러 날짜. 즉 고정된 단일 입력을 두고 여러 모델의 출력을 비교하되, 그 비교를 한 시점의 스냅샷으로 끝내지 않고 날짜를 달리해 반복 기록한다.

원문이 제시한 설명은 "One prompt, Multiple models, Multiple dates"라는 한 줄이 전부다. 어떤 모델들이 대상인지, 프롬프트의 내용은 무엇인지, 점수를 어떻게 매기는지, 결과가 공개된 날짜가 언제인지는 이 설명만으로는 알 수 없다. 확인 가능한 정보는 평가 방식이 대규모 문제 세트가 아니라 단일 프롬프트를 중심으로 짜여 있다는 점, 그리고 모델 축과 시점 축을 함께 둔다는 점이다.

기존 LLM 벤치마크는 수백에서 수천 개의 문항을 모아 총점을 매기고, 그 결과를 특정 시점의 리더보드로 굳히는 경우가 많다. 반면 실제 서비스에 쓰이는 모델은 이름은 그대로여도 가중치나 서빙 설정이 조용히 바뀌곤 한다. 날짜 축을 별도로 두는 구성은 같은 모델 이름이 시점에 따라 다른 답을 낼 수 있다는 문제의식에서 나온 것으로 보인다.

개발자 입장에서 이런 형태의 벤치마크가 주는 실용적인 힌트는 분명하다. 모델을 고를 때 총점 순위 하나에 의존하기보다, 자기 서비스에서 실제로 쓰는 프롬프트를 뽑아 여러 모델에 던지고 그 결과를 주기적으로 다시 확인하는 편이 낫다는 것이다. 단일 프롬프트 비교는 그런 자체 평가를 시작하는 가장 가벼운 형태이기도 하다.

다만 해석에는 주의가 필요하다. 프롬프트 하나에 대한 결과는 모델의 일반적인 성능을 대표하지 않는다. 프롬프트를 바꾸면 순위가 뒤집힐 수 있고, 날짜별 변화가 모델 업데이트 때문인지 서빙 환경 차이 때문인지도 이 정보만으로는 구분되지 않는다. 평가 기준과 대상 모델 목록, 원시 결과가 공개돼 있는지 확인한 뒤 참고하는 것이 안전하다.