금융 AI 에이전트의 자율성은 통제를 어디에 두느냐에 달렸다

latentspace그저께

AI Engineer New York 컨퍼런스에서 프런티어 랩과 금융권이 같은 주제를 놓고 발표를 이어갔다. 에이전트에 어디까지 자율성을 주고, 어떤 결정을 사람에게 남길 것인가. 발표자들이 공통적으로 도달한 결론은 제약을 얼마나 많이 걸느냐가 아니라 통제와 인간 판단을 어느 지점에 배치하느냐가 안전한 자율성을 만든다는 것이었다.

OpenAI에서 금융 서비스용 ChatGPT를 이끄는 조셉 김은 "유용성 임계점(threshold of usefulness)"이라는 개념을 제시했다. 모델이 시간을 절약해줄 만큼 충분히 유능하고 신뢰할 수 있게 되는 지점을 뜻한다. 그는 모델 성능이 계속 오르면서 금융 분석가들이 곧 이 임계점을 넘어 더 많은 업무를 에이전트에 위임하게 될 것이라고 봤다. 2027년 전망도 내놨는데, 금융권의 엑셀·파워포인트 의존이 줄어들고 에이전트가 투자 아이디어 생성과 트레이딩까지 수행할 수준이 된다는 것이다. 추적 가능성도 함께 강조했다. 금융에서는 숫자가 어디서 나왔고 어떤 맥락인지 확인할 수 있어야 하며, 그 검토 과정이 제품 경험 안에 자연스럽게 녹아 있어야 한다는 설명이다. 사람이 개입할 지점은 제품 설계의 문제로 규정했다. 인터페이스가 어떻게 바뀌고 사용자가 무엇을 통제·검토·승인해야 하는지는 지금부터 설계할 수 있는 질문이라는 것이다.

헤지펀드 Two Sigma의 아키텍처 SVP인 존 페미넬라는 이 질문을 실제로 다루는 쪽이다. 그는 모델 성능을 깎지 않으면서 에이전트를 통제하는 다섯 가지 장치를 소개했다. 안전과 혁신을 스펙트럼의 양 끝으로 보는 시각에는 반대했고, 특히 "승인 피로(approval fatigue)"를 문제로 지적했다. 모든 결정을 사람이 승인하게 만들면 혁신이 느려질 뿐 아니라, 승인자가 모든 건을 제대로 주시하지 못해 오히려 위험이 커질 수 있다는 것이다. Two Sigma가 도입한 통제들은 각자 한 가지 역할만 하고, 조합했을 때 팀이 하려는 일을 막지 않으면서 적절한 수준의 안전을 확보하는 구조다. 그중 하나가 자동 모드 분류기로, 일상적인 호출은 분류기가 판단하고 정말 중요한 요청만 사람에게 넘긴다. 명확한 경우에는 결정론적 규칙이, 애매한 경우에는 분류기가 더 낫다는 구분도 제시했다.

Anthropic은 금융 에이전트 워크플로에 신뢰를 심는 쪽에 초점을 맞췄다. 지난달 공개한 Claude for Financial Advisors는 금융 자문사가 자신의 시스템과 워크플로 스킬을 Claude에 연결할 수 있게 하는 제품이다. 금융 서비스 총괄 벨린다 닐은 모델이 임계점을 넘을 때마다 업무 방식에 변화의 물결이 온다고 표현했다. 응용 AI 쪽의 키온 샤하브는 신뢰 계층을 세 단계로 설명했다. 에이전트가 누구로서 행동하는지를 정하는 신원·권한 계층, 행동 전에 사람이 서명하도록 하는 샌드박스·승인 계층, 그리고 시간이 지나 변수를 조정해도 에이전트가 계속 작동하는지 확인하는 부분이다. 제안과 실행의 경계는 트레이드 브레이크 조사 에이전트로 예시했다. 이 에이전트는 주문 수정을 권고할 뿐 실제로 주문 데이터를 고치지는 않는다. 신뢰할 수 있는 기반 계층을 한 번 만들어두면 여러 에이전트를 규모 있게 빠르게 배포할 수 있다는 것이 그의 결론이다.

Bloomberg의 CTO 오피스에서 아키텍처·신기술을 맡는 안드레이 리브카는 에이전트가 실제로 사고를 낸 사례들과 그 방어책을 정리했다. 범위가 제한된 신원과 자격 증명, 도구 호출에 대한 통제, 외부 트래픽 제한, 감사 로그, 예산, 킬 스위치 같은 항목이 여기 포함된다. 한 사례에서는 에이전트가 마켓플레이스 리뷰에 심어진 문구를 상품 재고 등록 지시로 받아들였다. 입력 검증, 프롬프트 인젝션 방어, 출처 추적, 고가치 행동에 대한 사람 승인이 필요하다는 조언이 뒤따랐다. 그는 모델 바깥에 결정론적 통제를 두고 모든 호출을 검사·기록하며 킬 스위치를 유지해야 한다고 강조했다.

배경에는 모델 능력의 상승 곡선이 있다. 성능이 임계점을 넘을 때마다 업무 방식이 한 번씩 바뀌어 왔고, 금융처럼 규제와 감사가 강한 영역에서는 그 변화가 곧바로 통제 설계 문제로 이어진다. 프런티어 랩이 신뢰 프레임워크를 만들어도, 자기 에이전트 주위에 통제를 세우는 일은 결국 금융사 몫이라는 점이 이번 발표들의 공통된 전제다.

개발자 입장에서 실무적으로 달라지는 지점은 분명하다. 에이전트를 만들 때 승인 지점을 나중에 붙이는 게 아니라 제품 설계 단계에서 정해야 하고, 모든 호출을 검사·기록하는 결정론적 계층을 모델 바깥에 두는 패턴이 사실상 표준으로 자리 잡고 있다. 신원·권한, 샌드박스, 감사 로그, 킬 스위치는 개별 기능이 아니라 조합 가능한 부품으로 설계하는 편이 낫다. 승인을 전부 사람에게 몰아넣는 방식은 안전해 보이지만 승인 피로를 만들어 오히려 위험을 키운다는 지적도 함께 새겨둘 만하다.

한계도 분명하다. 발표자들이 제시한 전망은 각 사의 경험과 제품 맥락에 기반한 것이고, 2027년 예측 역시 확정된 로드맵이 아니라 방향성에 대한 전망이다. 또 통제를 아무리 잘 설계해도 최종 책임과 규제 준수 의무는 금융사에 남는다. 페미넬라의 비유처럼 브레이크는 멈추기 위해서만이 아니라 안전하게 빠르게 가기 위해 존재한다는 관점을, 자율성 수준을 정하는 기준으로 삼을 수 있다.