LLM 독성 전이 궤적을 보상 모델로 학습해 추론 시점에 정화한다

무엇인가

LLM이 유해한 콘텐츠를 생성하는 문제는 배포 단계에서 여전히 큰 걸림돌이다. 논문은 기존 대응을 크게 두 갈래로 정리한다. 학습 시점 방법(큐레이션된 선호 데이터로 DPO·RLHF 파인튜닝)은 데이터 수집과 연산 비용이 크고, 무엇보다 표면적인 독성 출력만 우회할 뿐 내부의 유해 상태를 없애지 못한다는 지적을 받는다. 그래서 최근에는 추론 중 표현을 편집하는 테스트 시점 방법이 주목받는다. 선형 표현 가설, 즉 사람이 해석 가능한 개념이 표현 공간의 선형 방향으로 인코딩된다는 가정 위에서 독성 방향을 찾아 표현을 밀어내는 방식이다. 문제는 기존 편집이 정적이거나 거친 개입에 머물고, 독성 상태와 비독성 상태 사이의 전이를 거의 탐색하지 않아 개입 신호가 부정확하다는 점이다.

어떻게 동작하나

TARGRS는 이 전이 자체를 학습 대상으로 삼는다. 프레임워크는 세 부분으로 구성된다. 첫째, 독성 전이 탐색. 쌍으로 주석된 독성·비독성 응답을 각각 LLM에 통과시켜 마지막 토큰의 은닉 표현 차이를 구하고(인과 모델링에서 마지막 위치가 앞선 문맥 전체를 집계하기 때문), 여러 쌍에서 모은 차이 행렬에 PCA를 적용해 첫 주성분을 독성 방향 d로 삼는다. 그다음 생성 과정에서 h + λ·d 형태로 λ를 단계적으로 키우며 표현을 밀어 넣어, 비독성에서 독성으로 넘어가는 궤적들을 인위적으로 만들어낸다. 각 궤적에 대응하는 텍스트 응답을 기성 독성 스코어러로 채점하면, 희소한 주석이 궤적별 점수를 가진 조밀한 listwise 감독 데이터로 바뀐다.

무엇과 다른가

둘째, 이 궤적 데이터로 토큰 단위 보상 모델을 학습한다. 손실 함수는 쌍별(pairwise) 비교가 아니라 궤적 전체의 순위를 반영하는 listwise 선호 손실이다. 셋째, 추론 시에는 학습 때와 반대인 비독성 방향으로 coarse-to-fine 샘플링을 수행한다. 거친 단계에서 비독성 영역에 도달하는 데 필요한 개입량을 먼저 정하고, 세밀화 단계에서 섭동을 최소화하는 표현을 고른다. 즉 토큰 확률분포를 직접 건드리지 않고, 가중치도 건드리지 않으며, 디코더의 은닉 표현만 옮긴다.

어떻게 쓰나

실험은 10개 LLM에 대해 RealToxicityPrompts, BOLD, AttaQ 세 벤치마크로 이뤄졌다. 논문이 보고한 감소폭은 RealToxicityPrompts 최대 69.38%, BOLD 46.85%, AttaQ 43.91%다. 효율도 주장하는데, 원래 LLM과 거의 같은 속도로 돌면서 테스트 시점 베이스라인 중 최고 성능 대비 추론 오버헤드를 11.40%, 두 번째 대비 56.49% 줄였다고 한다. 능력 보존은 인간 평가의 승률로 제시된다. 지시 따르기에서 47.83%·56.52%, 창의적 글쓰기에서 52.17%·54.35%(각각 깨끗한 프롬프트와 독성 프롬프트 조건)로 원 모델과 비슷한 수준이라는 설명이다.

전제와 한계

멀티모달 확장도 논문의 핵심 주장이다. LVLM의 텍스트 생성도 결국 언어 디코더가 담당하므로, 시각 인코더나 융합 구조는 건드리지 않고 디코더 표현 공간에서만 개입하면 된다는 논리다. 주석 쌍에는 빈 이미지를 붙여 시각 맥락을 배제하고, 추론 시에는 학습된 보상 모델로 같은 샘플링 절차를 적용한다. ToViLaG 데이터셋의 독성 이미지 1,000장에 대해 Qwen-VL-Chat, LLaVA-1.5, Llava-next-8B를 평가한 결과, 원래 독성률 44.88%·40.13%·18.25%가 15.45%·13.22%·7.29%로 떨어져 평균 약 64.23% 감소를 보였다. 같은 조건에서 ProFS 27.07%, Re-Control 18.71%, GenARM 39.57%, ARGRE 57.03%였다. 유창성 지표인 PPL_g는 세 모델 평균 13.98에서 16.86으로 2.88만큼만 올랐는데, 비교 방법들은 4.49에서 8.10까지 올랐다. 빈 이미지 대신 실제 무해 이미지를 붙인 추가 검증에서도 독성 16.32%, PPL_g 23.17로 빈 이미지 조건(15.45%, 23.25)과 큰 차이가 없었다.

개발자 관점에서 이 논문의 실용적 의미는 명확하다. 파인튜닝이나 재학습 없이, 이미 서빙 중인 오픈웨이트 모델의 디코더 은닉 상태에 개입하는 래퍼 형태로 얹을 수 있다는 것이다. 보상 모델 하나를 별도로 학습해 두고 추론 시점에 샘플링 가이드로 쓰는 구조라, 모델을 교체해도 보상 모델만 다시 맞추면 된다는 확장성도 주장한다. 도입을 검토한다면 세 가지를 먼저 확인해야 한다. 첫째, 이 방법은 화이트박스 전제를 요구한다. 둘째, 보고된 수치는 전부 영어권 독성 벤치마크 기준이므로 한국어 서비스에 그대로 옮겨오려면 별도 검증이 필요하다. 셋째, 자동 독성 점수가 낮아졌다고 실제 안전이 보장되지는 않는다.

저자들이 밝힌 한계도 이 지점과 맞닿아 있다. TARGRS는 LLM의 내부 표현에 접근해야 하는 화이트박스 방법으로, 폐쇄형이거나 API로 제한된 배포 환경에는 적용할 수 없다. 토큰 단위 로그 확률을 주는 그레이박스 인터페이스로도 어휘 공간 출력만 노출될 뿐 은닉 상태에는 접근할 수 없어, 표현 수준 개입이 불가능하다는 것이다. 또한 독성 점수가 크게 낮아진 출력물조차 부적절한 함의를 남길 수 있어, 자동 지표의 개선이 실제 안전성을 온전히 반영하지 못한다고 인정한다. 일반적 해악, 불법 행위, 악의적 사용 같은 일부 위험 범주에서는 잔여 공격 성공률이 남아 추가 개선의 여지가 있다고 밝힌다. 참고로 이 논문은 NeurIPS 2025 포스터로 발표된 ARGRE의 확장판으로, 보간 대신 점진적 방향 조향을 쓰고, pairwise 대신 listwise 손실로 보상 모델을 학습하며, 조향과 세밀화 단계를 coarse-to-fine 샘플링으로 대체한 것이 차이다.