프롬프트 변형에 반복되는 SAE 특징 변화가 판독 실패로 이어지는 정도를 분해한다

무엇인가

이 논문은 언어모델 활성화를 희소 특징으로 분해하는 SAE가 프롬프트 표면 변형에 따라 특징 활성을 재분배할 수 있다는 문제를 다룬다. 요청의 의미를 보존하려는 변형에서도 한 특징의 큰 변화가 다른 변형에서 반복되지 않을 수 있고, 반복되는 변화조차 하류 선형 판독의 결정을 바꾸지 않을 수 있다. 따라서 저자들은 “반복되는 재분배”를 별도 대상으로 삼아, 선택에 쓰지 않은 변형에서도 유지되는 특징 변화와 그 판독 기여를 분리해 측정하려 한다.

어떻게 동작하나

RSS는 먼저 각 특징의 평균 절대 변화 h_f를 구해 큰 후보 M개를 모은다. 선택 관측값에서 임계값 τ를 넘는 양·음 변화 수로 재발률 r_f, 방향 일관성 c_f, 우세 방향 s_f를 계산하고, r_f≥ρ와 c_f≥κ를 만족하는 특징 중 h_f가 큰 K개를 지지집합 S로 고른다. MeanRSS는 S의 평균 h_f다. S와 s_f는 선택 변형 V_sel에서 고정되어, 겹치지 않는 V_ho에서 재계산 없이 평가된다. n=5, ρ=κ=0.8이면 우세 방향 관측이 최소 4개, 반대가 최대 1개여서 한 관측을 바꿔도 방향이 뒤집히지 않지만, 이 보장은 선택 관측에만 적용된다.

무엇과 다른가

고정 선형 판독 z=w^T a~+b와 마진 m=y(z-t)에 대해, 각 특징의 평균 반응 크기 A_f^U, RSS 방향과의 정렬 η_f^U, 부호 있는 마진 침식 e_f^U를 정의한다. Proposition 3은 e_f^U=-y w_f s_f A_f^U η_f^U이며 |e_f^U|≤|w_f|A_f^U임을 보여, 큰 반응도 판독 가중치·방향·상쇄에 따라 효과가 달라짐을 분해한다. 전체 침식 E와 RSS 지지집합이 설명하는 E_S를 구분하고, 잔여 마진 m_res=m0-E, m_res^S=m0-E_S로 실패 위험을 평가한다. 개별 변형에서는 로짓 변화를 특징별 기여로 정확히 나누고, 선택된 판독 입력을 깨끗한 값으로 되돌렸을 때 오류가 뒤집히는지도 계산한다. 이 반사실은 판독 계산만 바꾸며 언어모델 활성화나 생성 행동을 바꾸지 않는다.

어떻게 쓰나

첫 실험은 12개 내용 범주에 걸친 1,000개 영어 프롬프트와 6개 변형 설정을 쓴다. 맥락·래퍼 변형과 구두점·어휘 편집을 대비하고, GPT-2, Pythia, Gemma 2, Gemma 3, Mistral, Llama 3.1의 여러 층을 아우르는 27개 사전학습 SAE를 평가한다. 각 설정은 5개 연산자와 3개 실현을 사용하고, 각 SAE 안에서 6개 설정의 MeanRSS 평균을 정규화한다. 맥락·래퍼 평균은 27개 SAE 모두에서 국소 편집 평균보다 컸고 평균 차이는 0.874, 95% 구간 [0.867, 0.881]이었다. 프롬프트 단위로도 1,000개 모두 맥락·래퍼가 국소 편집보다 높았고, 997개에서는 모든 맥락·래퍼 설정이 두 국소 편집보다 높았다. 강도와 MeanRSS의 중위 스피어만 상관은 구두점 0.95, 무관 맥락 0.74, 형식 래퍼 0.50이었고, 홀드아웃에서 선택 방향 반응률은 RSS 0.952 대 무작위 지지집합 0.758이었다.

전제와 한계

기능 실험은 균형 잡힌 WildGuardMix 1,800개를 1,200/300/300으로 나누고, Gemma 3 4B 17층과 Llama 3.1 8B 24층의 고정 선형 안전 판독 두 개를 감사한다. 프로브 적합과 임계값 보정은 깨끗한 훈련·검증 데이터만 쓰고 변형 테스트 전에 동결한다. 각 사례에서 5개 선택 변형과 10개 홀드아웃 변형을 분리하고, 홀드아웃 마진 10개 중 2개 이상이 음수이면 재발 판독 실패로 정의한다. 조건을 만족한 사례는 Gemma 1,524개, Llama 1,445개다. 재발·일관성 제약을 뺀 크기 기반 선택과 비교하면 선택 방향 홀드아웃 반응률은 Gemma 0.876 대 0.816, Llama 0.871 대 0.794였다. 판독 가중치 |w_f|로 매칭한 미선택 특징보다 평균 절대 홀드아웃 기여가 Gemma 0.240 대 0.022, Llama 0.370 대 0.022였고, 부호 규칙은 홀드아웃 평균 기여 부호와 97.4%, 97.1% 일치했다. K=20에서 RSS는 절대 홀드아웃 기여의 43.0%, 56.2%를 보존했고, 다른 변형용 RSS 지지집합은 32.6%, 43.5%였다. 판독 기여 |e_f|로 고른 순위는 90% 넘게 보존해, RSS가 판독 정보 없이도 유용한 기여를 잡지만 판독 인지 선택보다는 덜 효율적임을 보여준다.

실패 예측에서는 깨끗한 마진만 쓸 때 재발 실패 AUROC가 Gemma 0.863, Llama 0.901이었다. 여기에 RSS 지지집합의 마진 침식을 빼면 0.935와 0.958로 올라갔고, 중위 지지집합은 각각 20개와 19개 특징이었다. 전체 침식을 쓰는 전체 잔여 마진은 0.965와 0.964였다. 이는 알려진 클래스 라벨을 쓰는 오프라인 순위이며, 침식은 선택 변형에서, 재발 실패는 홀드아웃 변형에서 측정한 값이다. 개별 변형 수준에서 RSS는 홀드아웃 로짓 변화를 R^2 약 0.58, 0.63으로 재구성했고, 선택된 판독 입력을 복원하면 변형 프로브 오류의 72.2%, 71.8%가 뒤집혔다. 20% 오프라인 검토 예산에서 RSS 잔여 마진은 Gemma 오류의 89.2%, Llama 오류의 92.8%를 포착했고, 유해한 위음성은 87.3%, 94.4%를 포착했다. 중위 지지집합이 20개, 19개 특징인 반면 전체 판독의 비영 계수는 415개, 862개였다.

개발자 관점에서 이 논문은 SAE 특징 활성의 변화량을 곧바로 실패 신호로 쓰면 안 된다는 경고를 준다. 프롬프트 서식이나 래퍼가 바뀌면 특징 활성이 재분배될 수 있으므로, 모니터링·안전 판독·해석 도구에서는 반복성과 방향 일관성으로 후보를 추린 뒤 판독 가중치와 깨끗한 마진을 함께 봐야 한다. 특히 경계 근처에서는 작은 정렬 변화도 결정을 뒤집을 수 있고, 큰 변화도 상쇄되면 영향이 없을 수 있다. 오프라인 검토 큐를 만든다면 RSS 지지집합의 침식을 반영한 잔여 마진으로 위험 사례를 정렬하는 방식이 실무적으로 참고할 만하다.

저자들이 명시한 범위는 좁다. 결과는 시험한 변형들과 고정 선형 판독에 한정되고, 주요 기능 홀드아웃은 같은 연산자의 새 실현을 쓴 것이다. AUROC는 알려진 라벨을 쓰는 오프라인 순위이고, 판독 입력 복원 반사실은 언어모델의 활성화나 생성 행동을 바꾸지 않는다. 방향 보장도 선택 관측에만 성립하므로, 다른 프롬프트 변형·비선형 판독·실제 생성 정책으로 일반화하려면 별도 검증이 필요하다.