AI 도입 서두른 기업들이 품질과 보안 문제로 속도를 줄인다

Hacker News23시간 전

AI 도구를 앞다퉈 들여왔던 기업들이 잇따라 속도를 늦추고 있다. AI가 쏟아낸 오류와 저품질 산출물을 사람이 되레 수습하는 일이 늘면서 직원 시간이 낭비되고, 개인정보·보안 위험이 커지고, 비용도 올라간다는 판단에서다. 한때 실험을 장려했던 조직들이 이제는 사용 제한을 걸고, 숙련 인력을 다시 불러들이고, 교육에 투자를 늘리는 쪽으로 방향을 바꾸고 있다.

가장 눈에 띄는 변화는 메타다. AI 에이전트로 대체하려던 인력 감축 계획을 축소했는데, 직원들이 기술·보안 오류를 정리하는 데 쓰는 시간이 계속 늘어난 것이 이유로 꼽힌다. 2023년 효율화 작업으로 중간관리자를 줄였던 이 회사는 최근 관리 직군을 다시 늘리는 흐름을 보인다. 마이크로소프트에서는 임원 라이언 로슬란스키가 일상 업무에서 마주치는 이른바 'AI 슬롭'을 공개적으로 문제 삼았다. 동료가 보낸 AI 생성 문서를 요약하려고 다시 AI를 돌렸지만 새로운 통찰은 얻지 못했다는 것이다. 그는 읽기와 쓰기를 AI에 맡기면 획일적인 결과만 쌓이는 악순환에 빠질 수 있다고 경고했다.

현장 도구의 부작용도 드러났다. 월마트 매장과 물류센터 직원들은 작업·근무표 배정과 성과 감시를 맡은 AI가 세운 비현실적 기준, 잦은 오류, 잘못된 경보에 시달린다. 물류 동선을 엉뚱하게 짜서 주문 처리 속도를 떨어뜨리고, 쓸모없는 안전 경보를 쏟아내고, 지킬 수 없는 일정을 배정해 직원이 눈속임으로 대응하게 만든다는 증언이 나온다. 사람이 매번 완벽할 것이라고 가정하는 자동화 기준 자체가 문제라는 지적이다.

투자 대비 성과를 따져보면 상황은 더 분명해진다. 애틀랜타 연방준비은행 워킹페이퍼에서는 경영진 90%가 자사 AI 투자가 아직 생산성 향상으로 이어지지 않았다고 답했다. 지난달 공개된 언스트앤영 설문에서는 연매출 10억 달러 이상 기업의 AI 담당 임원 36%가 데이터 유실, 금전적 손실, 브랜드 훼손, 운영 중단으로 이어진 AI 사고를 겪었다고 밝혔다. 마이크로소프트와 맥킨지는 직원 사용을 제한하고 있고, 팔란티어·부즈앨런해밀턴·엔비디아는 자사 데이터가 AI 기업으로 흘러가는 것을 우려해 사내 사용을 묶고 있다.

인사 담당 경영진의 진단도 비슷하다. 미국인사관리협회(SHRM)의 조니 C. 테일러 주니어 회장은 AI를 두고 트럭을 운전하면서 동시에 조립하는 상황이라며, 되돌릴 수 있다면 더 신중하고 느리게 도입했을 것이라고 말했다. 마이크로소프트의 캐슬린 호건 최고전략혁신책임자는 도구 배포와 교육, 사용 확대만으로는 전환이 이뤄지지 않는다는 것을 배웠다고 적었다. 이 회사는 망가진 프로세스에 에이전트를 얹어도 프로세스는 여전히 망가져 있고, 한 단계를 빠르게 만들어도 다음 단계에 대기열만 길어진다는 결론을 얻었다. 대신 초임 엔지니어를 숙련자와 짝지어 교육하는 방식이 생산성 향상에 도움이 됐다.

교육 격차도 뚜렷하다. Indeed가 7월에 낸 조사에서 절반이 넘는 직원이 필요한 AI 교육을 받지 못한다고 답했고, 대부분의 관리자는 자기 팀원보다 AI를 못 다룬다고 느꼈다. AI를 능숙하게 쓰는 구성원을 이끌 준비가 됐다고 답한 관리자는 45%에 그쳤다. 조지타운대 교육·인력센터의 잭 메이블 연구총괄은 직원들이 활용 지침 없이 도구를 쓰라는 요구만 받는다는 점, 관리자는 도입과 생산성, 품질이라는 상충하는 지시를 동시에 떠안고 있다는 점을 짚었다.

기술적 원인도 있다. 펜실베이니아대 와튼스쿨의 제시카 리프 교수는 AI가 그럴듯해 보이지만 결함이 즉시 드러나지 않는 결과물을 잘 만든다고 지적했다. 오류가 바로 잡히지 않고 워크플로 전체로 번지면서 문제가 눈덩이처럼 커질 수 있다는 것이다. 실제로 법정에서도 그 대가가 확인됐다. 휴스턴 제조공장 가스 폭발 사고 재판에서 3M 측 전문가 증인이 낸 보고서가 챗GPT에 의존한 것으로 드러났다. 1만4,500쪽을 몇 시간 만에 조립한 정황과 어색한 서식이 단서였고, 채팅 기록에는 핵심 장비 사진을 올린 뒤 그게 무엇을 보여주는지 묻는 대화가 남아 있었다. 보고서 비용은 9만 달러였고, 배심원단은 3M이 가스 감지 시스템 점검을 제대로 하지 않았다고 판단해 주택 소유주 24명에게 6,150만 달러를 배상하라고 명령했다.

개발자 입장에서 이 흐름은 도입 지표가 바뀌고 있다는 신호다. 사용률과 호출량이 아니라 산출물 품질, 검증 가능성, 데이터 반출 통제가 평가 기준으로 올라온다. 에이전트를 붙이기 전에 프로세스와 평가 체계를 먼저 정비하고, AI가 만든 결과에 대한 검토 절차와 감사 로그를 설계에 넣어야 한다. 사내 도구를 굴릴 때 보안 검토와 역할별 교육이 함께 가지 않으면, 오류를 수습하는 비용이 자동화로 얻는 이득을 잠식한다.

다만 이 사례들은 개별 기업의 경험이며 AI 투자 자체가 실패했다는 결론은 아니다. 메타·마이크로소프트·월마트 등은 논평을 거부했거나 답변하지 않았고, 3M은 사실관계를 독자적으로 검토한 뒤라는 입장을 밝혔다. 생산성 관련 수치도 설문 응답에 기반한 인식 조사라는 점을 감안해야 한다.