CATT는 언어모델 데이터 귀속이 국소 토큰에서 무너지는 이유를 진단한다
Elucidating the Design Space of LM Data Attribution
무엇인가
이 논문은 언어모델의 데이터 귀속, 즉 어떤 학습 문서가 특정 예측을 만들었는지 찾는 문제를 다룬다. 기존 평가는 문서 중복, 어휘적 방해물, 사실 수 등 여러 데이터 속성을 한꺼번에 바꾸기 때문에 알고리즘이 왜 실패하는지 분리할 수 없고, BM25가 어떤 벤치마크에서는 영향함수보다 낫고 다른 곳에서는 뒤지는 모순도 설명하지 못한다고 지적한다. 저자들은 새 추정기를 내놓기보다 평가와 토큰 집계 방식을 통제해 실패 원인을 진단하는 데 초점을 둔다.
어떻게 동작하나
제안하는 CATT는 사전학습에 없는 가상 사실로 LLM을 LoRA 파인튜닝해, 그 사실을 담은 문서만이 정답 근거가 되게 만든 벤치마크다. Qwen3.5-4B를 설정별로 시드 3개까지 학습하고 Recall@N으로 평가한다. 설정은 한 번에 하나씩 바꾼다. 각 사실을 설명하는 문서 수 N은 표현이 다른 반복 지원을 뜻하고, 질의와 형식은 비슷하지만 답과 무관한 어휘적 방해물, 그리고 사실 개수를 조절한다. 과제는 새 함수 토큰을 상수 출력에 묶는 function bindings와, 객체 범주를 특정 속성에 따라 큐로 라우팅하는 가상 규칙인 routing rules로 구성된다.
무엇과 다른가
진단의 핵심은 문서 점수가 모든 토큰 점수의 평균이라는 점이다. 저자들은 층별 그래디언트를 토큰별로 분해해, 정답 문서 안에서도 결정적 증거가 소수 토큰에 국소화되어 있음을 확인한다. 표준 교차엔트로피 그래디언트는 목표 토큰 확률 p가 1에 가까우면 (1-p)만큼 작아져, 정답 사실을 표현한 자신 있는 토큰의 기여를 오히려 지운다. 그래서 음의 로그오즈 손실 -log[p/(1-p)]의 그래디언트를 토큰 수준에서 적용하고, 문서 전체 평균 대신 상위 k개 토큰 점수만 평균한다. 헤시안은 기존 교차엔트로피 추정을 그대로 두어도 개선된다.
어떻게 쓰나
CATT에서 표준 그래디언트 기반 방법은 복잡도가 커질수록 급격히 무너진다. function bindings에서 사실당 문서가 1개에서 50개로 늘면 TRAK의 Recall@N은 약 0.9에서 0.1 미만으로, EK-FAC은 0.70에서 0.45로 떨어진다. 어휘적 방해물을 넣으면 TRAK은 거의 0이 되고 EK-FAC도 손상된다. 반면 BM25는 고유 함수 식별자와 규칙 속성의 어휘 신호 덕분에 강했다. 토큰 진단에서는 모든 토큰을 평균할 때 재현율이 0.01이었으나 상위 10개 토큰만 쓰면 0.30, 음의 로그오즈만 쓰면 0.35, 둘을 결합하면 1.00이 됐다. 토큰별 항이 있는 6개 방법에서 이 결합은 평균 35~72퍼센트포인트 재현율 향상을 냈고, TrackStar가 35, Grad-Dot이 72였다. 규칙 라우팅의 정답 문서 예시에서는 교차엔트로피가 무관한 항목명에 점수를 몰아 순위 1499/1500이었는데, 음의 로그오즈는 정답을 결정하는 출력 토큰에 기여를 옮겨 순위를 12로 올렸다.
전제와 한계
음의 로그오즈와 상위 토큰 집계는 function bindings에서 k=10일 때 Grad-Dot, EK-FAC, layerwise TracIn을 거의 완벽한 재현율로 끌어올렸고 방해물 설정에서도 그러했다. k가 커지면 성능은 문서 전체 기준으로 서서히 퇴화했다. routing rules는 더 어려웠고 최적 k가 더 크게 나타나 중요한 토큰 집합이 더 넓음을 시사했다. 사실 개수는 문서 중복이나 방해물보다 귀속 성능에 덜 민감했다.
외부 FTRACE-TREX에서는 상위 문서를 제거하고 재학습해 사실 정확도 하락을 측정했다. 음의 로그오즈는 TRAK, EK-FAC, Grad-Dot 모두에서 기존 점수보다 더 큰 하락을 만들었다. 가장 큰 제거 예산에서 TRAK은 8%에서 40%로(4.9배), 두 수정을 모두 적용한 Grad-Dot은 7%에서 23%로, EK-FAC은 30%에서 46%로 개선됐다. 다만 FTRACE-TREX에서는 상위 10개 토큰만 쓰는 것이 전체 토큰 점수 대비 최대 6퍼센트포인트 안쪽 차이여서, 손실 교정은 일반화되지만 상위 토큰 집계의 효과는 문서 내 점수 분포에 의존한다고 해석한다.
개발자 관점에서 이 논문은 데이터 귀속 점수를 문서 단위로 평균해 고위험 의사결정에 쓰는 관행이 위험할 수 있음을 보여준다. 저작권 보호, 기여도 배분, 창발적 정렬 추적처럼 인과 증거가 국소화된 상황에서는 전체 문서 평균이 노이즈가 될 수 있으므로 토큰 단위 점검, 음의 로그오즈 그래디언트, 상위 토큰 집계, BM25 같은 어휘 기준선을 함께 확인해야 한다. 한계로는 단일 토큰 예측만 평가해 긴 다중 토큰 생성의 순차 의존성을 놓쳤고, 단일 과제 파인튜닝만 다뤄 다중 과제 학습의 귀속은 탐구하지 않았다. 상위 k 집계는 새로운 하이퍼파라미터를 도입하며 실제 환경에는 정답 검증 신호가 없어 동적 임계값이 필요하다. 또한 BM25가 강한 결과는 표면적 어휘 겹침이 신뢰할 만한 지름길이 아닌 데이터셋이 필요함을 보여주며, 사실 지원이 여러 개념에 흩어진 다단계 추론으로의 확장은 향후 과제로 남는다.