데이터 에이전트가 차트를 추론 도구로 쓰도록 경험에서 가르치는 ChartMind
Charts as Epistemic Actions for Experience-Driven Agentic Data Analysis
무엇인가
ReAct 스타일 루프로 돌아가는 데이터 에이전트는 이제 구조화 데이터 위에서 복잡한 분석 워크플로를 수행하지만, 중간 추론은 여전히 거의 전부 텍스트로 흐른다. 반면 인간 분석가는 숫자 요약, 표, 차트를 끊임없이 오가며 스크롤되는 표 뒤에 숨은 추세와 이상치를 시각적 증거로 끌어낸다. 이 논문은 차트를 보고서 마지막에 붙는 산출물이 아니라 분석 루프 내부의 '인식적 행위(epistemic action)'로 쓸 수 있는지, 그리고 그 사용법을 에이전트에게 어떻게 가르칠지를 묻는다.
어떻게 동작하나
먼저 저자들은 진단용 스위트인 ProbeBench를 만든다. InsightBench에서 200개 과제를 합성하고, 동일한 ReAct 백본과 범용 Bash 도구 하나만 두고 인터페이스만 네 가지로 맞춘다. 도구를 없앤 No-tool, stdout만 노출하고 플로팅을 금지한 Text-only, 생성 이미지만 노출하고 stdout을 숨긴 Chart-only, 둘 다 허용하는 Free-style이다. 결과는 세 갈래다. 첫째, Chart-only는 Text-only와 비슷하거나 약간 앞선다. 즉 차트만으로도 end-to-end 분석이 성립할 만큼 증거가 충분하다. 둘째, 그 충분함이 사용으로 이어지지 않는다. Free-style에서 Claude Sonnet 5는 거의 절반의 과제에서 텍스트와 차트를 섞었고 DeepSeek V4.1 Flash는 4분의 1 이상이었지만, GPT-5.6 Luna와 GPT-5.6 Sol은 사실상 텍스트로 회귀했다. 차트 사용 빈도는 점수와 무관했다. 셋째, 차트와 텍스트는 상보적이다. 시간 변화, 패턴 인식, 이상 탐지에서는 차트가 앞서고, 숫자 조회, 정보 위치 찾기, 조건부 검증에서는 텍스트가 앞선다. 정리하면 현재 에이전트는 차트를 '읽는 능력'에 비해 '쓰는 습관'이 부족하다.
무엇과 다른가
이 격차를 메우기 위해 제안하는 것이 ChartMind다. 핵심은 표현 선택을 모델 가중치가 아니라 편집 가능한 경험 문서로 외부화하는 것이다. 먼저 과제마다 다섯 개의 조건화 롤아웃 묶음을 만든다. 제약 없는 롤아웃 하나, 텍스트 선호 롤아웃 하나, 차트 선호 롤아웃 셋이다. 차트 선호 롤아웃끼리는 차트 타입 사용을 배제해 서로 다른 시각적 습관으로 갈라지게 한다. 각 궤적에는 두 종류의 라벨이 붙는다. 결과 점수 f_score는 최종 답을 정답과 비교해 [0,1]로 평가하고, 단계 귀인 f_attr은 각 핵심 스텝을 Helpful/Ineffective/Harmful로 태깅하면서 분석 오퍼레이션의 기여와 표현 선택의 기여를 분리한다. 빌더 에이전트는 이 라벨을 보고 궤적들을 비교해 전이 가능한 패턴을 끌어내는 insight induction과, 기존 패키지를 읽어 병합하거나 새 항목을 만드는 package revision을 수행한다. 경험은 두 가족으로 나뉜다. 분석 경험은 어떤 분석 연산을 어떻게 선택·구성·검증할지를 담고, 표현 경험은 중간 증거를 텍스트·차트·혼합 중 무엇으로 표현하고 이후 스텝에서 어떻게 소비할지를 담는다. 저장소는 파일시스템 트리이고 각 문서는 name, description, category 메타데이터를 갖는다. 빌더는 Read/Create/Edit/Bash를 쓰지만, 분석 에이전트는 읽기 전용 kb_read로 메타데이터를 먼저 받고 필요한 문서만 골라 읽는다. 갱신에는 검증 게이트가 붙는다. 제안 패키지의 검증 성능 Q가 이전 버전보다 엄격히 높을 때만 채택하고, 아니면 이전 버전을 유지한다. 이렇게 동결된 패키지를 에이전트가 외부 메모리로 참조하므로 모델 파라미터는 전혀 바뀌지 않는다.
어떻게 쓰나
실험은 성격이 다른 세 벤치마크에서 이뤄진다. DAComp-DA는 멀티테이블 SQLite 위의 개방형 분석 보고서 생성으로 Completeness, Accuracy, Insightfulness, Readability, Analytical Depth, Visualisation, Overall로 평가한다. DDR-Bench는 SEC 공시 10-K 환경에서 미리 정의된 쿼리 없이 장기 탐색을 수행하며 Message-Wise, Trajectory-Wise, Overall을 본다. DSBench는 ModelOff 대회에서 뽑은 정답형 분석 과제로 Task-level, Competition-level, Overall 정확도를 측정한다. 백본은 Claude Sonnet 5, GPT-5.6 Luna, GPT-5.6 Sol, DeepSeek V4.1 Flash 네 개다. 경험 증류는 ProbeBench만 사용하고 세 벤치마크는 전부 홀드아웃이며, 패키지는 GPT-5.6 Sol로 한 번 만들어 동결한 뒤 모든 백본이 동일하게 공유한다.
전제와 한계
결과는 일관된 개선이다. DAComp-DA에서 Overall이 백본별로 1.71~5.46점(평균 3.07) 올랐고, Visualisation은 평균 7.48점, GPT-5.6 Luna는 19.95점 상승했다. Accuracy도 평균 2.76점 올라, 단순히 보고서가 예뻐진 것이 아니라 분석 정확성과 증거 제시가 함께 개선됐다. DDR-Bench에서는 Overall이 1.17~5.47점(평균 2.99) 상승했고 Message-Wise는 평균 2.39점, Trajectory-Wise는 평균 3.60점 올랐다. 궤적 단위 이득이 더 크다는 것은 효과가 개별 응답을 넘어 전체 분석 흐름에 누적된다는 뜻이다. DSBench는 베이스라인이 이미 강했는데도 Overall 0.10~2.02점(평균 1.00), Task-level 평균 0.90점, Competition-level 평균 1.12점이 올랐다. 정답형 과제에서 손해 없이 개선됐다는 점이 중요하다.
어블레이션은 DAComp-DA에서 수행됐다. 경험 없는 베이스라인 54.32에서 1회 증류가 56.94, 전체 ChartMind가 59.78로, 1회 증류 대비 Accuracy 1.87점, Visualisation 8.86점을 더 얻었다. 반복 정제가 특히 시각적 증거 구성에서 값을 한다는 뜻이다. 제약 없는 롤아웃만 쓰면 59.78이 57.11로, 검증 게이트를 빼면 56.73으로 떨어졌고, 두 변형 모두 베이스라인은 넘지만 전체 구성에는 못 미친다. 경험 가족을 하나만 쓸 때는 분석 경험이 Accuracy를 3.70점 올려 단일 가족 중 Overall이 가장 좋았고, 표현 경험은 Visualisation을 13.09점 올렸다. 둘을 합칠 때 세 지표가 모두 최고가 되어 두 가족이 중복이 아니라 보완 관계임을 보였다. 게이트 자체의 동작도 보고된다. 30번의 후보 갱신 중 8개만 수용되어 검증 점수가 72.50에서 85.42로 단조 증가했고, 22개는 56.25까지 낮은 점수로 거부됐다. 행동 분석에서는 ChartMind 실행 시 도구 호출 라운드가 소폭 늘었고(경험 조회와 더 깊은 탐색), 네 백본 중 셋에서 분석 단계의 차트 생성 빈도가 증가했으며 GPT-5.6 Luna의 변화가 가장 뚜렷했다.
개발자 관점에서 이 논문의 실용적 메시지는 두 가지다. 첫째, 차트 도구를 노출하는 것만으로는 에이전트가 차트를 쓰지 않는다. 플로팅 권한을 줬는데도 특정 모델은 끝까지 텍스트로만 간다는 것은, 표현 선택을 프롬프트 한 줄로 기대하기 어렵다는 실측 근거다. 둘째, 그 습관은 파인튜닝 없이도 조건화 롤아웃과 검증 게이트로 만든 문서 패키지를 외부 메모리로 붙여 바꿀 수 있다. 사내 분석 에이전트를 운영한다면, 어떤 상태에서 차트를 강제로 그리게 하는 대신 '언제 그릴지'에 대한 규칙을 경험 문서로 축적하고, 갱신마다 홀드아웃 성능으로 채택 여부를 거르는 파이프라인을 참고할 만하다. 다만 이득의 상당 부분이 Visualisation 지표에 집중돼 있고, DSBench처럼 정답이 딱 떨어지는 과제에서는 개선폭이 1점 안팎으로 작다는 점은 기대치를 조정해야 할 부분이다.
한계와 전제는 논문 본문에 별도의 한계 절로 정리돼 있지 않지만, 실험 설계에서 드러난다. 경험 증류에 쓰인 데이터는 InsightBench에서 합성한 200개 과제뿐이며, 세 평가 벤치마크는 모두 홀드아웃이지만 경험의 일반화 범위 자체는 이 좁은 과제군에 묶여 있다. 패키지도 GPT-5.6 Sol 한 모델로 한 번 구축해 동결한 단일 버전이라, 빌더 모델을 바꿀 때의 효과는 보고되지 않았다. 또한 경험 조회에 추가 도구 호출이 필요해 상호작용 깊이가 늘어나며, 저자들 스스로 DSBench에서 GPT-5.6 Sol과 DeepSeek V4.1 Flash의 개선이 작은 것은 남은 여지가 제한적이기 때문이라고 설명한다. 차트 타입 배제 규칙이나 검증 게이트 임계값 같은 설계 선택이 다른 과제 분포에서도 유지되는지는 원문에 수치가 제시되지 않았다.