KEEP-Bench는 컨텍스트 압축의 근거 보존을 정답률 대신 직접 측정한다

무엇인가

컨텍스트 압축은 긴 문맥 추론 비용을 줄이지만, 정보 병목을 만들어 충실성 문제를 일으킨다. 핵심 근거가 빠지거나 왜곡되면 압축문은 원문과 다른 내용이 된다. 그런데 기존 평가는 압축문을 리더 모델에 넣고 QA 정확도를 재는 방식이다. 저자들은 이 지표가 손실을 과소평가한다고 지적한다. 리더가 파라메트릭 지식이나 과제 지름길로 정답을 맞힐 수 있기 때문이다. 실제로 논문의 사전 실험에서 충실하게 압축한 문맥의 정답률은 원문과 비슷했지만, 불충실하게 압축한 문맥은 80퍼센트 포인트 이상 낮았다. 게다가 기존 QA 데이터는 근거가 단일하고 직접적인 추론 경로 하나로 지지되는 경우가 많아, 복잡한 근거 구조에서의 보존 능력은 사실상 시험되지 않았다.

어떻게 동작하나

KEEP-Bench는 압축된 문맥 자체를 평가 대상으로 삼아 이 구멍을 메운다. 총 4,102개 사례로, 각기 다른 근거 구조를 겨냥한 세 가지 진단 설정으로 구성된다. 병렬 근거 설정은 지시 대상이 불분명한 엔티티 언급을 심어 두 개의 서로 다른 지시체, 즉 두 개의 병렬 추론 사슬을 만든다. 두 사슬 모두 보존해야 한다. 조건부 근거 설정은 추론 사슬 하나에 명시적 조건(qualifier)을 붙이고, 그 조건이 충족되지 않으면 성립하지 않는다는 진술까지 문맥에 넣는다. 조건과 근거를 함께 남겨야 한다. 불균형 근거 설정은 열린 질의로, 다수 관점은 긴 지지 문서를 받지만 소수 관점은 단 한 문장으로만 등장한다. 과학 도메인 1,010건과 정책 도메인 828건이 여기 들어간다. 병렬·조건부 설정은 MuSiQue 예시에서 근거 명제를 추출한 뒤 엔티티를 가상으로 치환해 만들었고, 불균형 설정은 검색 파이프라인으로 웹 문서를 약 400토큰 청크로 잘라 조립했다. 전체 문맥 길이는 평균 3,063토큰이다.

무엇과 다른가

측정 방식은 명제 단위다. 각 질의에 필요한 근거를 스스로 성립하는 최소 명제 집합으로 분해하고, 압축문만 보고 그 명제가 진술되었거나 명확히 추론 가능하면 보존으로 친다. 인스턴스 점수인 All-Rec는 모든 명제의 보존 지시자를 곱한 값이라, 하나만 빠져도 0이 되는 전부 아니면 전무 방식이다. 병렬 회수율(Para-Rec)과 조건 회수율(Cond-Rec)도 별도로 보고한다. 보존 여부 판정은 GPT-5.2를 높은 추론 강도로 돌려 수행했고, 설정별 100개 명제 판정에서 사람 주석과 93% 일치를 확인했다. 여기에 추론 연산량 대비 보존 성과를 나타내는 EPR(Evidence Preservation Return)을 새로 정의한다. EPR은 6 곱하기 루트(All-Rec을 사례당 평균 TFLOPs로 나눈 값)로, ICL 접두사 비용은 공유 사례에 걸쳐 분할 상각한다.

어떻게 쓰나

결과는 가혹하다. 전용 압축기는 모두 전체 All-Rec 10% 미만, 100억 파라미터 미만 범용 LLM은 30% 미만이다. 가장 강한 Gemma-4-31B-it조차 66.8%, Claude-Haiku-4.5는 61.6%로, 세 사례 중 하나 이상에서 필요한 근거를 전부 남기지 못한다. 평가된 모델의 네이티브 문맥 창이 32K에서 400K 토큰인데 원문은 평균 3.1K 토큰에 불과하다는 점을 감안하면 여유가 큰데도 이런 실패가 나온다. 설정 간 편차도 크다. 병렬 설정에서는 Claude-Haiku-4.5가 63.8%로 GPT-5.4-mini의 31.9%를 두 배 앞서지만, 불균형 과학 사례에서는 45.5% 대 60.3%로 뒤진다. 같은 불균형 설정 안에서도 GPT-5.4-mini는 과학 60.3%에서 정책 22.6%로 떨어지고, Llama-3.1-8B-Instruct는 4.1%에서 34.5%로 뛴다. 하나의 근거 구조나 도메인만 보고 압축기를 판단하면 오판한다는 뜻이다.

전제와 한계

연산량과 보존의 관계도 직관과 어긋난다. 사례당 50 TFLOPs 미만 구간에서는 어떤 방법도 전체 All-Rec 30%에 도달하지 못한다. 즉 적은 연산으로 높은 보존을 얻는 영역은 비어 있다. 연산을 많이 쓴다고 보존이 좋아지지도 않는다. EXIT는 RECOMP(추출식)보다 40.2배 많은 연산을 쓰고도 All-Rec은 1.5퍼센트 포인트만 올랐다. 반대로 Gemma-4-12B-it는 Qwen3-14B보다 연산을 35.0% 덜 쓰면서 All-Rec은 20.0포인트 높고, Gemma-4-31B-it는 Qwen3-32B보다 29.3% 적게 쓰면서 26.9포인트 높다. EPR은 각 모델 계열에서 4B에서 8B 사이 중간 규모에서 정점을 찍는데, 그 규모에서도 회수율 자체는 낮다.

출력 예산을 늘리는 처방도 만능이 아니다. 기본 예산의 0.5배에서 2배로 늘렸을 때 상위 세 모델은 평균 32.8포인트 오르지만 하위 세 모델은 3.9포인트 오르는 데 그친다. 두 집단의 격차는 35~43포인트에서 62~73포인트로 벌어진다. 병렬 설정에서 Gemma-4-31B-it는 33.3%에서 71.4%로 뛰지만 Llama-3.2-1B-Instruct는 모든 예산에서 0.0%다. 2배 예산에서도 최약체는 어느 설정에서든 14%를 넘지 못한다. 전용 압축기도 마찬가지다. BRIEF-Pro는 단일 사슬인 조건부 설정에서 예산을 늘리면 55.7포인트 오르지만, 다중 분기인 병렬·불균형에서는 최대 1.2포인트 상승에 그친다. BRIEF-Pro는 Cond-Rec 61.6%를 기록하면서도 Para-Rec은 0.3%로, EXIT의 41.9%에 크게 못 미친다. 예산은 이미 인식한 구조 안에서만 도움이 되고, 인식하지 못한 구조를 새로 만들어 주지는 못한다.

근거의 배치도 성능을 흔든다. 병렬 2홉 400건으로 실험한 결과, 두 근거 블록을 인접에서 중간 거리로 벌리면 Para-Rec이 2.1~8.5포인트, All-Rec이 2.5~8.7포인트 떨어진다. Qwen3-8B와 Llama-3.1-8B-Instruct는 양끝으로 벌렸을 때 인접 대비 각각 4.8~9.0포인트, 4.9~5.1포인트 더 하락했다. 또 앞쪽에 제시된 근거가 뒤쪽보다 2.5~10.6포인트 더 잘 보존되는 초두 효과가 관찰됐다. 오류 분석에서는 Gemma-4 네 모델이 모두 0점인 991건에서, 모델이 커질수록 정확히 하나만 놓치는 비율이 15.8%에서 61.0%로 늘고 네 개 이상 놓치는 비율은 24.6%에서 5.7%로 줄었다. 전용 압축기의 실패 양상은 갈린다. EXIT는 2,540건 중 1,782건(70.2%)에서 여러 분기의 근거를 일부씩 남기고 완전 보존에 실패했고, BRIEF-Pro는 1,581건(62.2%)에서 한 분기만 남겼다. 추출식은 넓이를 지키고 완결성을 잃으며, 생성식은 대안 분기 자체를 통째로 지운다.

개발자 입장에서 이 논문의 실무적 함의는 명확하다. RAG나 에이전트 이력 압축을 붙일 때 최종 답변 정확도만으로 압축기를 고르면, 리더 모델의 사전 지식이 가려준 손실을 놓친다. 압축문만 따로 떼어 근거 명제가 살아 있는지 확인하는 검사가 필요하다. 또 출력 토큰 예산을 늘리는 튜닝은 이미 성능이 나오는 모델에서만 효과가 있고, 약한 압축기에는 거의 무의미하다. 근거가 여러 갈래로 나뉘는 문서라면 분기별 보존을 따로 측정해야 하고, 근거를 문맥 앞쪽에 배치하는 것만으로도 보존률이 달라진다는 점을 기억할 만하다. 저자들이 강조하는 결론은 큰 출력 예산이나 모델 스케일업이 아니라, 작은 연산 예산으로 강한 정보 보존을 달성하는 압축기 연구가 필요하다는 것이다.

논문이 스스로 밝힌 전제와 한계도 있다. 분석 대상은 텍스트 압축으로 한정되며, 잠재 표현으로 압축하는 방식은 출력을 명제 단위로 검사할 수 없어 제외했다. EPR은 FLOP 추정이 가능한 오픈웨이트 및 전용 압축기에만 보고하며, 아키텍처가 공개되지 않은 상용 API 모델은 계산에서 빠진다. RECOMP(생성식)는 길이 제약을 안정적으로 따르지 않아 길이 통제 실험에서 제외했다. 보존 판정은 GPT-5.2 심사자에 의존하며 사람과의 일치는 93% 수준이다. 병렬·조건부 설정은 가상 엔티티로 합성한 데이터이고, 기본 압축 예산은 시연 응답이 참조 근거 명제 토큰 수의 두 배를 넘도록 설정했다는 점도 결과 해석에 고려해야 한다.