콰이쇼우, 복잡한 커머스 Agent 운영법 공개…QCon 상하이서 'Harness Loop' 사례 발표

콰이쇼우(Kuaishou) 전자상거래 AI 기반 엔지니어링 팀장 바오레이가 QCon 상하이 2026의 'Loop Engineering' 트랙에서 '복잡한 비즈니스 Agent의 지속적 진화: 콰이쇼우 전자상거래 쇼핑가이드의 Harness Loop 실천'을 주제로 발표한다. 11년의 인터넷 경력을 가진 그는 이전에 앤트그룹 선임 기술 전문가를 지냈으며, 현재 콰이쇼우에서 커머스 체계의 AgentOS와 대규모 모델 MaaS 등 기반 플랫폼 역량 구축을 맡고 있다고 소개됐다.

발표가 다루는 대상은 단순한 질의응답이나 상품 검색이 아니다. 전자상거래 쇼핑가이드는 검색·추천, 상품 정보, 마케팅·할인, 거래 이행, 사후 서비스 등 여러 업무 도메인을 가로지르는 의사결정 과정이다. 사용자의 명시적 질문뿐 아니라 암묵적 요구까지 이해하고, 정보 조회와 상품 필터링, 할인 계산, 서비스 판단을 하나의 흐름 안에서 처리해야 한다. 이를 위해 팀은 Agent Loop 패러다임을 기반으로 프로덕션급 쇼핑 어시스턴트를 구축했고, 통합 Tool 프로토콜과 동적 컨텍스트 관리, 작업 계획, 다중 도메인 도구 오케스트레이션을 결합했다고 밝혔다.

문제의식은 명확하다. 고정된 워크플로우로는 개방형 요구를 감당하기 어렵고, 반대로 모델의 완전 자율 결정에만 맡기면 도구 오용, 파라미터 오류, 중복 호출, 체인 통제 상실이 발생한다. 그래서 핵심 과제가 '체인을 어떻게 돌릴 것인가'에서 '실제 온라인 피드백을 바탕으로 어떻게 계속 나아질 것인가'로 옮겨간다는 것이다. 발표에서는 도구 수 팽창, 도메인 간 정보 충돌, 체인 타임아웃, 오류 전파, 그리고 모델 문제와 Harness 문제를 구분하기 어렵다는 점이 주요 난제로 제시된다.

해법의 골격은 실행 궤적(trajectory)을 중심으로 한 폐루프다. 사용자 입력, 컨텍스트 조립, 계획 과정, 도구 선택, 호출 파라미터, 도구 결과, 예외 재시도, 최종 출력을 기록하고 이를 모델·프롬프트·도구·설정·지식 버전과 연결해 온라인 문제를 재현 가능하게 만든다. 이렇게 모은 궤적과 사용자 피드백, 도구 이상, 비즈니스 효과를 규칙·지표·모델 판단으로 분석해 잠재적 Bad Case를 찾아낸다. 이후 궤적 재생, 유사 사례 군집화, 모델 비교, 부분 재실행을 통해 문제를 모델 역량, 프롬프트, 도구, 컨텍스트·메모리, 런타임 메커니즘 중 어디서 고칠지 판단하고, 전략 변경을 버전으로 관리한다.

평가 방식도 달라진다. 최종 답변의 정오만 보지 않고 작업 완료 여부, 도구 호출의 합리성, 체인의 중복, 비용과 지연의 이상 여부, 사용자 요구 충족도를 함께 본다. 대표적인 Bad Case를 시나리오별 회귀 세트로 축적해 단일 능력과 실행 궤적, 작업 성공률, 비즈니스 지표를 각각 평가하고, 신구 버전 대조와 동일 케이스 반복 실행, 교차 시나리오 퇴화 검사로 특정 표본에만 통하는 전략인지 확인한다. 검증을 통과한 전략은 소량 트래픽 그레이 배포와 버전 격리, 챔피언-챌린저 방식으로 실제 트래픽에 투입되고, 이상이 생기면 빠르게 롤백된다. 결과적으로 '온라인 궤적 → Bad Case 귀인 → 전략 변경 → 회귀 평가 → 그레이 배포 → 새 궤적 환류'라는 순환이 만들어진다는 설명이다.

발표는 한계도 함께 짚는다. 복잡한 비즈니스 Agent는 높은 자율성과 높은 안정성, 낮은 비용을 동시에 달성하기 어렵다. 도구가 늘수록 모델이 해결할 수 있는 범위는 넓어지지만 도구 선택과 파라미터 생성, 도메인 간 결과 충돌 확률도 함께 오른다. 규칙과 검증, 고정 흐름을 늘리면 통제성은 올라가지만 개방형 요구에 대응하는 능력은 제약된다. 긴 체인 작업은 다중 추론과 반복 호출을 요구하므로 효과 개선이 지연과 연산 비용 증가로 이어지고, 정보 완전성과 실행 라운드, 응답 속도 사이의 절충이 필요하다. 자가 진화 역시 완전 자동화가 아니라는 점도 명시된다. 실패 원인이 모델·도구·데이터·컨텍스트·비즈니스 규칙의 복합 작용인 경우가 많아 자동 귀인이 잘못된 최적화를 낳거나 새로운 퇴화를 유발할 수 있기 때문에, 전략 조정에는 오프라인 평가와 사람의 검토, 그레이 검증이 여전히 필요하다는 것이다.

이번 발표가 실무에 주는 시사점은 명확하다. 검색·추천, 상품, 마케팅, 이행, 사후 서비스 같은 다중 도메인을 Subagent와 Skill/Tool 주입으로 묶어 체계적으로 구성하는 방법, 그리고 온라인 Bad Case와 실행 궤적, 평가 결과를 연결해 반복 시행착오를 줄이는 자기 진화 폐루프를 어떻게 설계하는지가 공유될 예정이다. QCon 상하이 2026은 10월 22일부터 24일까지 열리며, Loop Engineering을 포함해 AI Native 아키텍처, Agent Runtime, AI Infra, Agent 보안·관측성, 엔드-클라우드 협업 등 20개 트랙에서 100여 명의 발표자가 참여한다.