AI 에이전트 6개로 개발하는 시대에도 사람의 판단이 필요하다

마이크로소프트 윈도우 AI 팀을 거쳐 세일즈포스 AI 리서치에서 연구 엔지니어로 일하는 벤 스톨로비츠가 최근 1년간 자신의 AI 활용 방식을 정리했다. 핵심은 코드 자동완성에서 벗어나 여러 코딩 에이전트를 동시에 지휘하는 방식으로 옮겨갔다는 점이다. 그는 한 달에 약 3000달러어치 토큰을 쓰며 Claude Code, OpenCode, Codex, Pi 같은 에이전트 5~6개를 병렬로 운용한다.

작업 방식은 단순하다. 기능 구현이나 버그 재현 같은 과제를 에이전트에 맡기면 각 에이전트가 Git worktree로 분리된 코드 사본에서 작업한다. 에이전트는 코드를 쓰고 테스트를 돌리고 PR 초안을 만들거나 리뷰한다. 이 방식으로 새 기능 프로토타입을 20분 안팎에 만들고, macOS와 iOS의 까다로운 오디오 코드를 몇 분 만에 실험했다는 사례가 소개됐다. Mumble 클라이언트의 노이즈 캔슬링 개선도 에이전트가 연결하고 테스트해 베타 빌드로 매일 쓰는 수준까지 갔다.

생산성 효과는 크다. 긴급 버그를 설명과 수정 요청만으로 진단하게 하는 동안 다른 일을 계속할 수 있고, 실패를 빠르게 확인하는 실험도 가능해졌다. 코드 리뷰에서 팀원에게 큰 변경을 제안하거나 직접 대안 구현을 붙이는 일도 수월해졌다. 다만 그는 에이전트가 만든 코드를 그대로 믿지는 않는다. 검증 없이 신뢰할 수준은 아니어서 코드와 동작을 직접 확인하고, 리뷰도 줄 단위보다 아키텍처와 반복 패턴에 집중한다.

여러 에이전트를 동시에 상대하는 피로도 함께 언급된다. 서로 다른 6개 대화를 오가며 서로 다른 기능을 동시에 다루는 일은 코딩보다 과자극적이고 지치게 만든다. 점심 전에 프롬프트를 하나만 더 보내고 싶다는 유혹이 저녁까지 이어지는 경험도 털어놓는다. 자동화가 편해질수록 관리 부담과 집중력 소모가 커질 수 있다는 대목이다.

흥미로운 점은 사람이 직접 도구를 만든 사례다. 그는 약 4000줄의 '바이브 코딩' 결과물을 몇백 줄짜리 직접 작성한 도구로 대체했다. 그 결과가 더 유연하고 테스트하기 쉬우며 일반화도 잘 됐다고 평가했다. 에이전트가 빠르게 초안을 만들 수는 있지만, 구조를 설계하고 불필요한 복잡성을 걷어내는 일은 여전히 사람의 취향과 경험이 필요하다는 뜻이다.

에이전트의 한계도 분명히 짚는다. 에이전트만 놓아두면 과도한 설계와 읽기 어려운 코드, 자기만족적인 결과물이 쌓일 수 있다. 코딩 에이전트는 버그와 스타일 문제를 잘 잡지만 아키텍처 설계에는 약하다. 그래서 그는 반복되는 문제를 발견하면 리뷰 로봇이 스스로 찾아 고치도록 규칙을 추가한다. 'Claude-y comment detector'처럼 생성 코드의 말투를 걸러내는 규칙도 이런 과정에서 나왔다.

도구에 대한 평가도 달라졌다. 자동완성은 여전히 유용하지만 그가 직접 코드를 거의 쓰지 않게 되면서 중요도는 낮아졌다. 인라인 편집과 코드 모드는 에이전트 시대에 효용이 떨어져 목록에서 빠졌다. 반면 에이전트 모드는 현재 가장 중요한 AI 활용법으로 꼽힌다. 에이전트 PR은 검증 루프가 느려 아직 불편하고, AI 코드 리뷰는 반복 작업을 줄여주지만 사람 수준에는 못 미친다는 평가다.

그는 AI 사용 규칙을 개인 차원에서 문서화하는 '퍼스널 AI 정책'도 만들기 시작했다. AI가 일상과 업무에 스며들면서 팀원이 Slack 메시지를 AI에 맡기고, 연구자가 사고를 기계에 위임하는 일이 자연스러워졌기 때문이다. 규범이 없는 상태에서 도구를 쓰면 쉽게 길을 잃을 수 있다는 문제의식이다. 정책은 AI가 똑똑해질수록 자신의 판단 기준을 붙잡아 주는 장치로 제안된다.

검색과 리서치에서도 생성형 AI는 기본값이 됐다. 구글 검색 결과 상단의 AI 요약이 첫 번째 또는 두 번째 결과로 자주 등장하면서, 그는 리서치와 검색의 출발점을 AI로 삼는다. 결국 이 기록이 보여주는 것은 AI가 개발을 끝냈다는 선언이 아니다. 에이전트가 초안과 반복 작업을 빠르게 처리하는 동안, 사람은 무엇을 만들지 정하고 구조를 설계하며 품질을 검증하는 쪽으로 이동하고 있다는 신호다.