SAE-IDF가 이종 기호 시스템을 해석 가능한 희소 코드로 연결한다
Sparse Autoencoders Are a Shared Coordinate System for Symbolic Matching
무엇인가
논문이 다루는 문제는 이종 기호 시스템 사이의 심볼 매칭이다. LLM은 넓은 지식을 한 벌의 가중치에 담지만 내부 동작의 해석 가능성과 신뢰 가능한 추론이 약하고, 뉴로-심볼릭 모델은 해석 가능한 구조와 System 2식 추론을 제공할 수 있으나 기호 백본을 사람이 만들어야 해서 범위가 도메인에 갇힌다. 저자들은 기존 기호 시스템을 정렬·병합해 더 큰 기호 체계를 데이터 기반으로 만들려면 먼저 서로 다른 시스템의 단위를 매칭해야 한다고 보고, LLM의 밀집 은닉 상태가 비등방성이고 표면 언어 유사성에 치우치며 중첩 때문에 희귀도 가중이나 설명이 어렵다는 점을 출발점으로 삼는다.
어떻게 동작하나
제안 방법 SAE-IDF는 심볼을 그 시스템의 고유 문맥(view)과 함께 LLM에 읽힌다. 대상 레이어의 residual stream h_t를 JumpReLU SAE 인코더 E(h)=JumpReLU(W_enc h+b_enc)에 통과시키고, 심볼 토큰 위치의 코드만 토큰과 view에 걸쳐 평균해 희소 코드 a(s)를 만든다. 기준 집합 D에서 특징 f가 발화한 심볼 수 df(f)를 세어 idf_f=[log N/(1+df(f))]_+로 가중하고 w(s)=a(s)⊙idf를 얻는다. 후보 집합 C(s)를 코사인 유사도로 순위화해 top-1을 예측 매칭으로 삼으며, 코사인은 특징별 기여 c_f로 정확히 분해된다. 정렬된 쌍 없이 LLM이 읽을 수 있는 시스템이면 적용되는 훈련 없는 방법이다.
무엇과 다른가
실험은 6종 기호 시스템의 12개 과제에서 이뤄졌다. miniF2F의 Lean 4에서 다른 증명기로의 문장 검색, XLCoST 코드 검색, Valentine 테이블 조인·유니온, Common-KG의 NELL→DBpedia와 YAGO→Wikidata, MultiFarm 다국어 온톨로지, Bio-ML과 OAEI Anatomy 생의학 온톨로지가 포함된다. 주 실험은 Gemma-2-9B의 20층 Gemma Scope JumpReLU SAE(F=131,072, 평균 L0=114)와 Llama-3.1-8B의 15층 Llama Scope SAE(같은 폭)를 쓰고, Dense, Dense-PC1, SAE-unweighted, 문자열 TF-IDF·BM25, BGE-M3, Qwen3-Embedding-8B와 같은 view·토큰 위치에서 비교한다.
어떻게 쓰나
결과는 Gemma-2-9B에서 SAE-IDF가 같은 모델의 Dense를 모든 과제에서 앞서며 최대 +0.45 MRR(Lean 4→Metamath)을 기록했다. Llama-3.1-8B에서는 14개 행 중 13개, 즉 XLCoST MRR만 제외하고 Dense를 앞섰고, Dense-PC1과는 10개에서 앞서거나 같았다. 표면 표기가 비슷한 Isabelle은 Dense 0.912에서 SAE-IDF 0.961로 작게 오르지만, 표기가 크게 다른 Metamath는 0.210에서 0.661, HOL Light는 0.539에서 0.898로 크게 오른다. MultiFarm에서는 문자열 기준이 0.23 MRR에 그친 반면 SAE-IDF가 Dense보다 +0.10~+0.13 높고, XLCoST는 식별자를 공유해 word TF-IDF가 0.468로 강하며 SAE-IDF의 Dense 대비 이득은 +0.01에 그친다. BGE-M3보다는 15개 행 중 10개에서 앞서고, Qwen3-Embedding-8B와는 코드, YAGO→Wikidata, MultiFarm Arabic, Bio-ML에서 앞서지만 형식 수학에서는 뒤진다. 대부분 과제에서 훈련 없는 방법 중 최고 성능이다.
전제와 한계
절제 실험은 두 재료가 모두 필요함을 보인다. IDF 가중을 빼면 희소 기저만으로는 18개 주 표 비교 중 15개에서 Dense에 뒤지고, 나머지 3개에서도 최대 0.012만 앞선다. 같은 폭·희소도의 무작위 사전에 같은 IDF를 적용해도 모든 과제에서 Dense 아래에 머문다. HOL Light와 Metamath에서 39개 설정(SAE 층, 폭, 희소도, 모델 계열·크기)을 훑으면 SAE-IDF가 Dense와 Dense-PC1을 모두 앞서며, HOL Light는 +0.18~+0.55, Metamath는 +0.08~+0.58 MRR이다. SAE-unweighted보다는 78개 실행 모두에서 +0.11~+0.66 앞선다. 폭을 키우면 HOL Light가 16k에서 0.817, 1M에서 0.935로 오르고 Metamath는 65k부터 평탄해지며, Gemma-2-27B에서는 HOL Light 0.939와 Metamath 0.738로 Dense의 0.41과 0.20을 크게 앞선다. whitening 같은 사후 보정도 대부분 과제에서 SAE-IDF에 뒤진다.
해석 가능성 분석은 매칭이 명명된 특징으로 분해됨을 보여준다. Bio-ML과 Anatomy를 제외한 10개 과제에서 최대 300개, 총 2,315개의 정답 매칭을 분해했고, Neuronpedia가 131,072개 특징 중 129,642개에 자동 설명을 제공한다. LLM이 등장한 5,252개 설명을 concept, notation, surface, generic으로 분류했고 두 번째 모델과 92% 일치(κ=0.80)했다. 가중치가 없으면 수학·프로그래밍 표기 특징 f106376(Pile 토큰의 99%에서 활성)이 정답 매칭의 99%에서 상위 5개 기여에 들지만 SAE-IDF에서는 전혀 들지 않는다. Pile의 1% 초과에서 활성인 특징이 SAE-unweighted 코사인의 56~91%를 차지하나 SAE-IDF에서는 0~6%만 차지한다. 지식그래프·온톨로지 용어는 Pile의 0.1% 미만에서 활성인 희귀 개념 특징이 코사인의 87~94%를 만들고, MultiFarm은 4분의 1이 표면 특징이며, 형식문·프로그램·테이블 열은 10~21개 특징에 코사인의 절반을 분산한다. 중국어 fee 사례는 Dense에서 정답이 13위, 무가중에서 40위였지만 SAE-IDF에서는 fees and payment structures가 88%를 기여해 1위가 되고, HOL Light floor 사례도 131위에서 1위로 바뀐다. 실패도 읽힌다. has first name은 has name에 지고, 값이 1뿐인 src_id는 positive integers에서만 SRI와 만나는 식이다. 병합 실험에서 네 증명기의 12개 순서쌍을 상호 top-1 링크로 연결하면 SAE-IDF는 Dense보다 거의 두 배 많은 문장을 연결(커버리지 0.64 대 0.34)하면서 일관성은 같거나 높고(전이성 0.981 대 0.963, 순도 0.981 대 0.979), 조정 랜드 지수 0.795로 Dense 0.519와 Dense-PC1 0.646보다 정답 그룹에 가깝다. 90% 정밀도에서 기권하는 선택적 응답은 Metamath 질의의 24%, HOL Light의 93%에 답해 Dense의 1%와 24%를 크게 웃돈다.
개발자에게 이 방법은 LLM이 읽을 수 있는 표기와 고유 문맥이 있는 스키마·온톨로지·지식그래프·코드 매칭에서 훈련 없이 쓸 수 있는 후보가 된다. 다만 후보 풀에 정답이 있다는 실험 프로토콜, IDF 기준 집합, 자동 생성 특징 이름의 신뢰도, 코사인 마진 기반 기권의 적용 범위를 먼저 확인해야 한다. Valentine 열 유형별 top-1은 자유텍스트·범주형·식별자 0.79~0.81, 수치 0.67이라 수치 열은 규칙 기반 처리가 필요하다는 가설을 남긴다. 저자들이 밝힌 한계도 분명하다. SMILES·IUPAC·InChI에서는 우연 수준이고, 두 표기가 식별자를 공유하면 word TF-IDF와 비슷하며, MultiFarm·Anatomy·라벨만 있는 지식그래프 클래스에서는 문맥이 부족하고, ICD 코드·약물명처럼 문맥 없는 심볼은 제외했다. 실제 병합은 심볼의 대응이 없음·하나·여럿인지를 구조적 제약 아래 결정해야 하지만 이 논문은 후보 풀에 대응이 있는 질의만 다루고 마진 기반 기권도 그 경우만 덮는다. 저자들은 특정 벤치마크의 SOTA를 주장하지 않으며, BERTMap·LogMap 같은 과제별 매처와 비교하지 않았다. 훈련된 검색기는 형식 수학에서 앞서고 그 차이는 사전학습 암기 가능성과 관련될 수 있다고 적는다. Dense-PC1 대비 우위는 MultiFarm과 NELL→DBpedia에서 잡음 수준이고 Llama-3.1-8B에서는 더 작으며, IDF는 매칭 대상 풀에서 계산된다. 특징 이름은 자동 생성이라 오해를 부를 수 있고, 자동 매칭은 전이 폐쇄에서 한 번의 오류로 두 클러스터를 합칠 수 있어 고위험 자원에는 기권이나 사람 검토가 필요하다.