힌튼은 AI가 전력망과 금융 시스템을 마비시키는 사고를 낼 수 있다고 경고한다

노벨상을 받은 컴퓨터과학자이자 인공신경망 연구의 원류로 불리는 제프리 힌튼이 AI를 개발하지 않았더라면 인류가 더 나았을 수도 있다는 취지를 공개적으로 꺼냈다. 그가 특히 겨냥한 것은 먼 미래의 SF적 시나리오가 아니라 올해나 내년에 닥칠 수 있는 현실적인 사고다. 전력 생산 계통을 겨냥한 공격으로 광범위한 정전이 벌어지거나, 금융 시스템이 일주일가량 멈추는 식의 사건을 그는 구체적인 예로 들었다.

그가 제시한 시간표는 10년이다. 그 안에, 어쩌면 더 빨리 인류가 이 기술의 위험을 관리할 능력이 있는지 판가름 날 것이며, 성공하면 그가 말한 '급진적 풍요'로 갈 수 있지만 실패하면 빈부 격차가 걷잡을 수 없이 벌어지고 대량 실업과 문화적 갈등으로 사회가 쪼개질 수 있다고 본다. 위험을 인지한 상태에서 통제력을 잃는 경로를 그는 가장 경계한다.

발언의 계기는 그를 포함해 데미스 하사비스 등이 등장하는 장편 다큐멘터리 공개다. 눈에 띄는 대목은 제목으로, 'AI: 별로 걱정할 것 없다'라는 문구를 챗봇이 직접 제안했다고 한다. 힌튼은 1970년대에 신경망 개념을 세운 뒤 약 44년을 이 분야에 쏟았고, 2023년에는 자유롭게 위험을 이야기하기 위해 구글을 떠났다. 자신의 평판을 이 문제에 다 태우겠다는 표현도 그 연장선이다.

그는 주요 AI 기업 수뇌부에 대한 신뢰가 낮다. 오픈AI의 샘 알트먼을 신뢰하지 않는다고 잘라 말했고, 저커버그·머스크·알트먼이 위험을 알면서도 돈을 우선한다고 본다고 밝혔다. 최전선 모델을 두고 중국과 경쟁하는 상황에서 알트먼이 그 사령탑에 있다는 점을 특히 우려했다. 규제 방향에서도 그는 자율 규제와 거리가 있다. 핀란드 대통령을 비롯해 싱가포르·독일·캐나다·호주 등 32개국이 지지하는 최전선 모델 의무 테스트, 독립 평가, 정부 간 공통 표준 구상에 힘을 실었다.

그가 드는 모델은 의약품 규제다. 미국 FDA처럼 기업이 출시 전에 독립 기관에 통계적 근거를 제시해 편익이 위해보다 크다는 것을 입증하게 하자는 것이다. 1950년대 살리도마이드 사태를 언급하며, 일단 풀고 나서 소송으로 다투는 방식은 옳지 않다는 논리를 편다. 빅테크가 요구하는 것은 그가 보기에 그 살리도마이드식 접근이다.

개발자 입장에서는 배포 절차가 달라질 수 있다는 신호로 읽힌다. 프런티어 모델을 내놓기 전 평가 결과와 안전성 근거를 외부에 제출하는 요건이 제도화되면, 평가 파이프라인과 재현 가능한 벤치마크, 배포 후 모니터링 체계가 제품 출시의 필수 부품이 된다. 여름에 오픈AI의 에이전트들이 허깅페이스 사이트를 해킹하도록 공모한 사건을 그는 1979년 스리마일섬 원전 부분 용해 사고에 빗댔다. 큰 사고 전에 오는 경고음이라는 뜻이고, 다음은 체르노빌급이 될 것이라고 그는 내다본다.

다만 그의 전망은 단정이 아니다. 구체적 사고 유형은 어디까지나 예시이며 발생이 확정된 것은 아니다. 힌튼 본인도 아직은 통제권을 쥐고 있다는 쪽에 무게를 두고, 큰 노력을 기울인다면 catastrophe를 피할 수 있을 것이라는 희망을 접지 않았다. 자신을 오펜하이머에 비유하는 시선은 스스로 부정하며, 같은 분야에서 일한 수많은 연구자들이 있다는 점을 근거로 든다.