기업 AI 에이전트 3분의 2가 파일럿에서 멈추는 지식 부족 문제

MIT Technology Review의 커스텀 리서치 조직인 Insights가 데이터·AI·기술 임원 300명을 대상으로 한 설문 보고서를 내놨다. 요지는 이렇다. 기업용 AI 에이전트는 데이터가 없어서 실패하는 게 아니라, 그 데이터가 자기 조직 안에서 무슨 의미인지 이해하지 못해서 실패한다. 에이전트가 상황을 추론하고 결정을 내리고 실제 행동으로 옮기려면 데이터를 넘어선 맥락 이해가 필요하다는 진단이다.

숫자가 이를 뒷받침한다. 응답 조직들이 파일럿을 넘어 프로덕션까지 밀어붙인 에이전트 프로젝트는 평균 34%에 그쳤다. 고기술 기업도 크게 다르지 않다. 반면 평균 61%의 프로젝트를 프로덕션 단계로 올린 소수의 '프로덕션 리더' 그룹은 지식 역량 자체가 달랐다. 특히 시맨틱 지식에서 격차가 두드러졌고, 이 차이가 프로덕션 전환율과 거의 그대로 겹쳤다.

보고서는 에이전트에 필요한 지식을 세 갈래로 구분한다. 데이터의 의미를 조직 맥락에 맞춰 해석하는 시맨틱 지식, 과거 상호작용을 기억하는 에피소드 메모리, 업무 절차를 아는 절차적 지식이다. 이 세 축이 갖춰지지 않으면 에이전트는 그럴듯하지만 틀린 판단을 내리기 쉽다.

지식 접근을 가로막는 최대 장애물로는 데이터 단편화가 꼽혔다. 시스템 간 데이터 공유가 제대로 이뤄지지 않는 문제를 응답자의 55%가 최상위 난제로 지목했다. 흥미로운 대비도 있다. 프로덕션 리더 그룹은 데이터 단편화보다 보안·프라이버시 우려를 더 크게 봤다(72%). 데이터 연결 문제를 어느 정도 풀어낸 조직은 다음 병목으로 보안을 의식한다는 뜻으로 읽힌다.

배경에는 경쟁 압력이 있다. AI가 약속한 효율 개선을 실제로 챙기려면 에이전트 프로젝트를 더 많이, 더 넓게 배포해야 하는데, 파일럿 단계에서 멈춘 프로젝트가 쌓이면 이미 투입한 비용이 매몰되고 경쟁사에 뒤처진다. 레거시 데이터 시스템, 보안·프라이버시 문제, 맥락 지식 부족이 반복적으로 실패 지점으로 등장하는 이유다.

개발자 입장에서 가장 실무적인 대목은 투자 우선순위다. 응답자들은 조직 데이터와 AI 에이전트 사이의 구조적 토대를 강화하는 것이 에이전트 판단 품질에 가장 큰 영향을 줄 것으로 봤고, 전문가 인터뷰에서는 '지식 레이어'가 그 수단으로 언급됐다. 구체적으로는 수집 파이프라인, AI가 바로 소비할 수 있는 API, 검색증강생성(RAG) 같은 검색 기술과 AI 평가 에이전트, 지식 그래프에 투자가 몰릴 전망이다. 에이전트 프롬프트나 모델 교체보다 데이터를 어떻게 연결하고 검색 가능하게 만들지가 먼저라는 신호다.

다만 이 보고서는 MIT Technology Review의 편집 부서가 아닌 커스텀 콘텐츠 조직이 제작했고, 300명 규모의 설문 응답에 기반한 자기 보고라는 한계를 안고 있다. 수치를 절대 기준으로 삼기보다는, 에이전트 프로젝트가 프로덕션 문턱을 넘지 못하는 원인을 진단하는 참고 자료로 쓰는 편이 적절하다.