신경망은 이미 읽을 수 있다는 주장에 AI 해석가능성 연구자들이 갈렸다

AI 해석가능성(mechanistic interpretability) 연구자 닉 캄마라타가 "신경망은 이미 깨끗하다"는 장문 에세이를 공개하며, 대형 모델의 내부 동작이 그동안 알려진 것보다 훨씬 읽기 쉽다고 주장했다. 그는 해석가능성 전문 랩 굿파이어(Goodfire) 소속으로, 과거 자신이 정립에 기여했던 설명 체계를 스스로 뒤집는 입장을 냈다. 이 글을 두고 오픈AI의 '룬(Roon)'은 과학사에 남을 사건이라 반응한 반면, 구글 딥마인드의 닐 난다는 과대평가라며 선을 그었다.

캄마라타가 다시 들여다본 것은 이미지 모델 InceptionV1에서 유명해진 '고양이-자동차 뉴런'이다. 그는 이 뉴런이 서로 무관한 두 개념에 반응하는 것이 아니라 뾰족한 형태를 잡아내는 V자 검출기라고 본다. 여우 주둥이나 불꽃처럼 뾰족한 모양에는 활성이 올라가고, 알파벳 O처럼 둥근 형태에는 활성이 음의 방향으로 밀린다는 것이다. 그가 크리스 올라와 함께 쓴 논문 "Zoom In"에서 개 뉴런 사이에 자동차가 숨어 있다고 해석했던 회로도, 실제로는 자동차와 개를 카메라를 바라보는 방향 기준으로 묶은 평범한 일반화라는 설명이 붙는다. InceptionV1 후반 레이어가 지저분해 보이는 이유는 오래된 아키텍처와 분석 도구의 한계 탓으로 돌린다.

나머지 모호함은 그가 '재귀적 일반화(recursive generalization)'라고 부르는 패턴으로 설명된다. 뉴런이 가지에서 곁순이 뻗어나가듯 반응 범위를 넓힌다는 개념이다. 문자 조합 "iy"를 인식하던 뉴런이 이후 "diy"에 반응하고, 결국 "iy"가 전혀 들어 있지 않은 "do it yourself"까지 반응하게 되는 식이다. 이런 묶음은 중첩과 달리 네트워크에 대한 정보를 준다고 그는 말한다.

언어 모델 쪽에는 잠정적인 수치도 제시했다. Qwen3-32B에서 뉴런 극(pole)의 약 90퍼센트가 하나의 주된 역할을 하고, 약 7퍼센트가 서로 연관된 두 역할을 맡으며, 설명되지 않는 비율은 2~4퍼센트에 그친다는 것이다. 굿파이어는 파라미터가 수조 개에 이르는 모델에서도 비슷한 결과를 본다고 밝혔다. 이 작업의 상당 부분은 뉴런을 대량으로 분석하는 AI 에이전트가 처리했다. 캄마라타는 리치 서튼의 '비터 레슨(Bitter Lesson)'을 끌어와, 해석가능성에서도 영리한 분해 기법보다 대규모 단순 조사가 이긴다고 정리한다. 새로운 방법론을 제시한 것이 아니라, 더 나은 도구와 큰 모델, 자동화 에이전트를 앞세워 뉴런을 직접 관찰하는 원래 접근으로 되돌아간 셈이다.

배경에는 '중첩(superposition)' 가설이 있다. 네트워크가 뉴런을 다 쓰면 서로 잘 부딪히지 않는 무관한 개념들을 같은 뉴런에 밀어 넣는다는 이론으로, 그 결과 내부가 엉킨 매듭처럼 보인다는 설명이었다. 그래서 여러 연구실은 희소 오토인코더(sparse autoencoder) 같은 별도 모델을 학습시켜 개념을 분리한 뒤, 원본 대신 그 모델을 연구해 왔다. 캄마라타는 2023년 오픈AI에서 자동 해석 프로젝트를 시작했는데, 당시 가장 관대한 기준으로도 이해 가능하다고 분류된 뉴런은 약 1.7퍼센트에 불과했다.

룬은 이번 작업이 과학사에서 중요한 분기점으로 기억될 수 있다고 평가했다. AI 대재앙을 경고해 온 엘리에저 유드코스키조차 파멸 확률 추정치를 낮춰야 할 만큼 좋은 소식이라는 언급도 덧붙였다. 다만 다른 연구자들의 검증이 필요하고, 해석가능성 돌파가 오히려 AI 성능 향상을 앞당길 수 있다는 유보도 함께 내놨다. 이런 성과가 대형 연구소 바깥에서 나왔다는 점은 오픈AI를 포함한 빅랩에 불리하다고 그는 본다.

닐 난다의 시각은 훨씬 신중하다. 기계적 해석가능성의 창립 세대 중 한 명으로 꼽히며 구글 딥마인드에서 해석가능성 팀을 이끄는 그는, 2024년 중반 이후 야심찬 해석가능성 연구에 대해 더 비관적으로 돌아섰고 실용적 접근 쪽으로 기울었다고 밝혔다. 그의 팀은 희소 오토인코더 연구의 우선순위를 낮췄는데, 기법 자체가 무용하다기보다 업계가 쏟는 노력에 비해 얻는 게 적다고 판단했다는 설명이다. 캄마라타의 작업은 흥미롭지만 큰 그림을 바꾸지는 않으며, 뉴런 기반 분석은 모델이 왜 의심스러운 행동을 했는지 같은 실무 질문에는 도움이 되고 최전선 모델에 적용하기도 쉽지만 심각한 결함을 안고 있고 놓치는 부분도 많을 것이라고 내다봤다.

난다는 중첩 가설이 여전히 유효하다고 본다. 언어 모델은 보유한 뉴런 수보다 훨씬 많은 사실을 저장하며, 특히 약한 활성값이 그 정보의 상당 부분을 담고 있을 가능성이 크다는 논리다. 작은 이미지 모델에서 나온 결과가 언어 모델로 이어진다고 보기도 어렵다고 지적한다. 에세이가 단일 의미성(monosemanticity)을 지나치게 느슨하게 정의한다는 불만도 있지만, 오래된 자신의 연구를 최신 도구로 다시 검증한 점은 인정했다. 논쟁의 일부는 정의 차이다. 모델이 차원 수보다 많은 개념을 표현하는 것 자체는 캄마라타도 문제 삼지 않으며, 난다도 이 지점에서는 동의한다고 본다. 캄마라타가 반박하는 것은 네트워크가 완전히 무관한 것들을 임의로 한데 묶어 저장한다는 대목이다.

개발자 입장에서 이 논쟁은 모델 디버깅 방식과 연결된다. 뉴런 단위 분석이 실제로 신뢰할 만하다면, 왜 특정 입력에서 모델이 이상한 출력을 냈는지 추적하는 비용이 크게 낮아지고 최전선 모델에도 바로 적용할 수 있다. 반대로 난다의 지적대로 결함이 크다면, 뉴런 관찰만으로 안전성을 판단하는 접근은 위험한 착각이 될 수 있다. 특히 속임수나 위험 행동을 탐지하는 용도로 쓰려면 검증이 필수다.

가장 큰 전제는 기술 동반 논문이 아직 공개되지 않았다는 점이다. 에세이의 주장은 독립적인 재현과 검증을 거치지 않은 상태이며, 난다를 비롯한 연구자들이 요구하는 것도 바로 그 부분이다.