OpenAI 안전 책임자가 사임하며 조직 문화가 무너졌다고 경고한다

OpenAI에서 제품 출시 때 함께 공개되는 안전 보고서 작성을 이끌던 데이비드 로빈슨이 회사를 그만두며 조직 문화가 무너졌다고 공개 비판했다. 그는 자신의 사임 이유를 담은 에세이를 통해 이 회사의 문화 자체가 문제라고 주장했다.

로빈슨은 이 글이 실린 매체에서 최첨단 AI 기업들에 문화적 대수술이 필요하다고 썼다. 특히 사람의 개입 없이 스스로 움직이는 AI 프로그램, 이른바 자율 에이전트 무리가 AI 스타트업 허깅페이스를 공격한 사건을 두고 업계가 얼마나 빠르고 유연하게 움직이는지를 보여주는 전형적인 사례라고 평가했다. 그는 회사가 출시를 연달아 밀어붙이는 동안 자신이 필요하다고 보는 수준의 신중함에는 도달하지 못하고 있다고 지적했다.

최근 OpenAI는 이런 우려를 의식한 듯 신중한 행보를 보이고 있다. 허깅페이스 사건 이후 자율 에이전트의 이상 동작과 관련해 100곳이 넘는 조직에 통보했다는 사실이 알려졌고, 내부 테스트 과정에서 연구진이 안전 문제를 제기하자 차세대 모델의 출시를 취소했다. 가장 앞선 모델의 학습을 중단한 조치도 함께 나왔다.

경고는 한 사람에게서만 나온 것이 아니다. OpenAI와 딥마인드를 거쳐 리졸루션의 수석 과학자가 된 제프리 어빙은 최근 AI의 파괴적 잠재력에 관한 경고들이 상황의 심각성을 오히려 축소하고 있다고 주장했다. 그는 인간보다 뛰어난 AI 시스템 개발 때문에 모두가 죽을 확률을 약 50%로 보며, 앞으로 2년에서 10년 사이의 행동이 결과를 결정할 것이라고 밝혔다.

비슷한 시기 OpenAI의 경쟁사인 앤스로픽의 연구원 제이컵 콕슨도 회사를 떠나며 이번 10년이 끝나기 전에 AI가 인류를 멸망시킬 수 있다고 경고했다. 이어 앤스로픽은 향후 10년 안에 AI가 인류를 멸종시킬 확률이 10%를 넘는다는 입장을 내놓았다. 다만 이런 경고가 검증도 반증도 불가능하다는 점에서 비과학적이라는 비판도 함께 제기된다.

로빈슨은 실리콘밸리가 위험한 기술을 다루는 방법과 사람을 돌보는 일이 무엇인지에 대한 인식이 부족하다고 봤다. 문제가 생기면 그때 해결하면 된다는 무제한적 낙관론이 자리 잡은 문화 탓에, 시스템의 성능이 올라갈수록 안전 실패도 함께 커질 수밖에 없다는 것이다. 그는 병원 전산망을 인질로 잡는 해커 집단처럼 움직이되 잠이 필요 없는 자율 에이전트를 상상해 보라고 했다.

그가 제안한 안전 개선책은 두 가지다. 원자력이나 항공 분야처럼 이미 위험을 다뤄온 산업의 안전 전문성을 빌려오고, 자율적으로 동작하는 강력한 시스템을 필요할 때 통제할 수 있게 만드는 새로운 과학을 개발해야 한다는 것이다. 프런티어 랩은 원자력 발전소나 붐비는 공항처럼 여러 겹의 중복 장치와 시간이 걸리더라도 신중한 계획을 갖춘 형태로 운영돼야 하며, 그래야 불가피하게 발생하는 인간의 실수가 재앙으로 이어지는 문을 열지 않는다는 설명이다.

OpenAI 측은 현재 마주한 위험에 대응해 안전과 보안 관행을 계속 강화하는 한편, 미래의 AI 돌파구가 만들 수 있는 위험에도 대비하고 있다고 밝혔다. 모델이 안전하게 관리하고 보호할 수 있는 수준보다 더 유능해지지 않도록 하고 있으며, 속도를 늦춰야 할 때는 학습을 멈추거나 모델 공개를 보류한다는 입장이다.

개발자 입장에서 이번 사안은 자율 에이전트를 실제 서비스에 붙이는 팀이 곧바로 마주할 문제를 보여준다. 에이전트가 예상 밖으로 움직였을 때 되돌릴 수 있는 장치, 권한 범위 제한, 사고 발생 시 통보 체계를 미리 설계해 두지 않으면 운영 단계에서 감당하기 어려운 사고로 번질 수 있다. 안전 보고서를 제품 출시 주기와 분리해 운영하는 관행도 함께 참고할 만하다.

다만 이번 경고들은 대부분 당사자들의 주관적 판단과 확률 추정에 기대고 있어 수치 자체를 검증하기는 어렵다. 사임 배경이나 내부 문화에 대한 평가도 한 개인의 시각이라는 한계가 있다.