지속형 개인 에이전트가 결정 위임으로 인간의 통제력을 키운다

무엇인가

이 논문은 개인 AI 에이전트가 장기 작업을 맡을수록 사용자가 목표를 세분화하고 모호성을 해소하고 결과를 검증하는 데 드는 노동이 오히려 커지는 문제를 다룬다. 저자들은 에이전트의 진전을 작업 실행 품질만으로 재면 안 되고, 사용자가 일상적 감독을 줄이면서도 중대한 결정에 대한 통제를 유지하도록 인간의 행위 능력을 얼마나 증폭하는지로 측정해야 한다고 주장한다. 이를 위해 사용자의 목표·가치·제약을 여러 맥락과 시간에 걸쳐 지속적으로 대표하고 결정 위임을 이어가는 지속형 개인 에이전트, 즉 Avatar Intelligence를 제안한다.

어떻게 동작하나

제안하는 아바타는 단순한 명령 대기 도구가 아니라 사용자 인지의 지속적·실행 가능한 외부화로 설명된다. 시스템 커널은 사용자의 행동 패턴과 의사결정 논리를 계속 관찰해 사용자 프로필과 행동 양식에 대한 모델을 암묵적으로 갱신하고, 그 모델로 암묵적 의도를 맞춘다. 운영 구조는 지각, 계획, 결정, 실행의 네 구성요소가 지속형 메모리 기반 위에서 닫힌 루프를 이루며, 작업·비서·사회·사용자 정의 클론이 하나의 사용자 모델을 상속해 도구, 앱, 샌드박스, 외부 에이전트와 연결된다. 이 클론 계층은 작업 연속성, 추론된 의도에 따른 선제적 서비스, 새 도구와 서비스를 흡수하는 능력 확장을 제공한다. 여러 사용자의 아바타가 서로 협상·조정하는 다중 아바타 생태계에서는 인간-시스템 상호작용이 아바타-아바타 조정으로 바뀌므로 프로토콜, 인센티브, 갈등 상황의 안전 경계가 설계 문제가 된다.

무엇과 다른가

저자들은 인간 개입을 단계적으로 분리하는 L0~L3 성숙 로드맵을 제시한다. L0는 인간이 실행과 결정 모두에 남는 단계로 에이전트가 부분 프로세스만 자동화하고, L1은 인간이 긴 워크플로 안에서 목표 정교화·라우팅·검증 같은 핵심 결정을 계속 조종한다. L2는 지속형 정체성·메모리·결정 정책을 가진 아바타 코어가 일상적 결정과 오케스트레이션을 맡고 인간은 소수의 보정된 체크포인트에서 개입하며 런타임 가드레일과 감사 추적을 요구한다. L3는 위임된 영역에서 운영과 결정을 끝까지 자율적으로 맡고 인간은 사후 감사, 분쟁 해결, 정책 갱신을 주로 수행한다. 같은 아바타도 영역별로 다른 수준에 있을 수 있고, 사용자는 어느 수준에서든 목표 수정과 위임 철회 권한을 유지한다.

어떻게 쓰나

평가를 위해 논문은 Agentic Oversight Index(AOI)를 제안한다. 정규화된 순가치 U는 tanh((V-C_sys)/s_tau)로 정의되는데, V는 과업 성공·품질·사용자가 체감한 효용 같은 전달 가치, C_sys는 컴퓨팅·도구 사용 같은 에이전트 측 운영 비용이며 인간 감독 비용은 포함하지 않는다. P는 인간만 수행한 기준선 대비 정규화된 인간 감독 부담으로, 개입 빈도·감독 시간·결정 복잡성·책임 부담을 포함한다. AOI는 U에서 λP를 뺀 값으로, 감독 부담이 커질수록 점수가 항상 낮아지고 P가 0에 가까워지면 U로 수렴한다. AOI는 상한이 1이지만 하한은 의도적으로 두지 않아, 인간 작업량을 과도하게 만드는 에이전트가 약한 에이전트와 비슷해 보이지 않게 한다.

전제와 한계

논문은 응용으로 생활 행정의 연속성, 조직 역할과 권한을 구분하는 기업 아바타, 사용자별 위험 선호를 반영하는 금융 아바타, 서로 다른 사용자의 제약을 협상하는 다중 아바타 상호작용을 든다. 예를 들어 여행 일정이 예전에 약속한 학부모-교사 면담과 충돌하면 아바타는 일정을 지우기 전에 출발편 변경을 먼저 찾고, 그래도 해결되지 않으면 사용자에게 충돌을 되돌린다. 기업 아바타는 공유 일정을 바꿀 수 있어도 엔지니어링 차단 이슈를 면제하거나 고객 약속을 대신 수정할 권한은 없다. 이 논문은 실험이나 데이터셋, 베이스라인, 정량적 개선 수치를 제시하지 않는다. AOI의 구체적 인스턴스도 부록 B에서 하나의 가능한 형태로 언급될 뿐 본문에서 수치로 검증되지 않는다.

핵심 연구 과제로 저자들은 먼저 정체성 연속적 개인화를 든다. 기존 개인화가 특정 순간의 행동 출력이나 기억 검색에 치우친 반면, 아바타는 가치·트레이드오프·추론 습관을 포함한 잠재적 의사결정 구조를 배워 작업 간 전이되고 맥락 간 일관되며 시간이 지나도 사용자 가치에서 표류하지 않아야 한다. 이를 위해 사용자 내부 결정 과정을 압축적으로 표현해 다양한 맥락에서 사용자가 어떻게 추론할지 시뮬레이션하는 사고 계산 가능성과, 매 단계 지시 없이 의도된 행동을 예측하는 의도 예측 가능성을 요구한다. 두 번째는 Rehearsal Engineering으로, 사용자·환경 특화 흔적과 선호를 모으고 시뮬레이션·반사실 롤아웃·통제된 샌드박스로 대표 시나리오를 구성하며 명시적 감독 정책 아래 후보 행동을 평가하고 제한된 자율성 안에서 메모리·스킬 선택·결정 정책을 갱신하는 시스템 방법론이다.

세 번째는 안전으로, 기술적 안전과 Agent Insurance를 기능적으로 분리한다. 기술적 안전은 의도 정렬과 교정 가능성, 최소 권한·샌드박싱·비가역 행동 검증·체크포인트와 롤백 같은 런타임 거버넌스, 프롬프트 인젝션·이상 행동 탐지·장기 메모리와 자격 증명 보호를 포함한다. Agent Insurance는 실행 실패나 의도 불일치 같은 계약상 손실을 감정하고 보상하기 위한 잔여 재무 위험 배분으로, 검증 가능한 실패 조건과 감사 가능한 실행 흔적, 분쟁 절차를 요구한다. 다만 이 모든 것은 연구 의제와 설계 주장이며, 논문은 아바타가 실제로 L2나 L3 수준의 신뢰를 달성하는지 보여주는 실증 결과나 AOI의 타당성 검증을 제공하지 않는다. 사고 계산 가능성, 의도 예측 가능성, 감독 부담의 정량화, 보험의 검증 가능성은 모두 추가 검증이 필요한 전제로 남는다.