Surge AI가 세무 실무 50개 과제로 AI 에이전트의 판단력을 시험한다

Hacker News3일 전

Surge AI가 세무 실무를 그대로 옮긴 50개 과제로 AI 에이전트를 평가하는 벤치마크 DAYJOB: Tax를 내놨다. 앞서 공개한 Healthcare, Finance에 이어 DAYJOB 계열의 세 번째 축이며, 이번에는 세금 신고와 컴플라이언스, 자문 서비스까지 범위를 넓혔다. 핵심은 세법 지식이 아니라 전문가적 판단이다.

과제 환경은 실제 세무 사무실 책상에 가깝다. 전체 워크스페이스 파일은 1,789개로, 과제당 중간값이 30개이고 가장 많은 과제는 123개까지 붙는다. PDF 1,487개, 엑셀 워크북 117개, 워드 문서 38개에 이메일과 이미지, CSV, JSON, 텍스트 파일이 섞인다. 제출본과 초안 신고서, K-1, W-2, IRS 통지서, 총계정원장, 급여 기록, 계약서, 각종 서신이 재료로 들어간다.

세무 실무의 여덟 영역에 걸쳐 있고 요구되는 산출물도 제각각이다. 워크페이퍼를 갖춘 완전한 신고 패키지를 요구하는 과제가 있는가 하면, 거래를 파고들거나 과거 신고를 검토하거나 아직 결정되지 않은 선택지에 대한 조언을 작성하게 하는 과제도 있다. 표준화되지 않은 증거도 등장한다. 재판매용 상품의 손글씨 영수증 사진을 읽어 지출 기록과 대조하고 재고와 매출원가에 미치는 영향을 따져야 하는 과제가 있고, 앨라배마에서만 운영한다고 믿는 실로 서비스 회사의 현장 파견 일지에서 다섯 개 주에 걸친 작업 흔적을 찾아 다주 세무 의무를 판단해야 하는 과제도 있다. 폴란드 근로·부동산 기록을 암호화폐 거래소 내역, 지갑 이력, 취득 단가와 맞춰야 하는 국경 간 가구 사례도 포함된다.

채점은 엄격하다. rubric 기준 95% 이상을 충족해야 통과로 인정하는 pass@1 방식이며, 계산과 근거 자료, 놓치면 안 되는 쟁점, 최종 산출물을 모두 본다. 리더보드에서는 Claude Sonnet 5.5가 10.8%로 선두이고 Claude Fable 5.1이 9.6%, Claude Opus 5.5가 9.2%로 뒤따른다. 시험당 평균 비용과 성능을 함께 놓은 파레토 프런티어에서도 상위 구간은 Sonnet 5.5와 Opus 5.5가 차지했다. 100%가 아니라 10%대라는 숫자 자체가 이 벤치마크의 성격을 말해준다.

기존 세무 벤치마크는 문제가 이미 정의되어 있다. TaxBench처럼 114개 세무 질문에 답하거나, 신고서를 계산하거나, 빠진 납세자 정보를 모으는 식이다. 반면 실무에서 세무 전문가가 하는 일의 상당 부분은 문제가 무엇인지부터 정하는 것이다. 고객 지시는 불완전하고 기록은 서로 어긋나며, 결정적인 쟁점은 최초 요청에 등장하지 않는다. DAYJOB: Tax는 그 처음부터 끝까지의 책임을 에이전트에 지운다.

원문이 든 사례가 이 차이를 잘 보여준다. 콘도 매각 시점을 두고 2026년 10월과 2027년 1월을 비교한 자문에서 한 에이전트는 두 날짜 모두 최대 25만 달러 비과세 혜택의 거주 요건을 만족한다고 정확히 답했다. 그러나 5년 중 2년 거주 요건이 2027년 8월 말께 만료된다는 사실은 다섯 번의 시도 모두에서 언급하지 않았다. 같은 과제에서 Opus는 다섯 번 모두 이 기한을 짚었다. 질문에는 답했지만 고객이 물어보지 않은 중요한 사실을 놓친 전형적인 실패다.

이혼 절차 중인 부부가 Roth IRA와 401(k)를 나누는 방법을 물은 과제도 있다. Opus 5.5는 이들을 법적으로 혼인 관계가 아니라고 단정하고 계좌를 분리한 채 현금으로 잔액을 맞추라고 권했다. 그러나 파일에는 이들이 플로리다로 오기 전 텍사스에서 함께 살았고 콜로라도에서 예식을 올렸다는 기록이 있었다. 텍사스는 조건에 따라 사실혼을 인정하며, 다른 주에서 성립한 혼인은 플로리다에서도 유효할 수 있다. 혼인 여부 판단이 계좌 분할의 세금 결과를 바꾼다. Opus는 불확실성을 인정하면서도 다섯 번 모두 미혼 전제 위에서 답을 구성했고, Astra는 네 번에 걸쳐 혼인 상태를 먼저 확인해야 한다고 짚었다.

과제는 세무 전문가가 실무 흐름을 바탕으로 만들고 채점 기준까지 설계한 뒤 정확성, 완전성, 해결 가능성을 세 겹으로 검토하는 절차를 거친다. 참여 인력으로는 PwC와 딜로이트, 엑슨에서 10년 넘게 일한 세무 변호사, 베이커틸리의 세무 디렉터, 부동산 파트너십과 개인 세무·신탁을 다뤄온 실무자 등이 이름을 올렸다.

개발자에게 이 벤치마크가 던지는 신호는 분명하다. 에이전트 평가의 초점이 정답률에서 무엇을 문제로 볼지 스스로 정하는 능력으로 옮겨가고 있다. 검색과 계산, 지시 준수는 기본값이 됐고, 상충하는 증거를 해소하는지, 정보가 부족하다는 사실을 인지하는지가 점수를 가른다. 사내 문서를 다루는 에이전트를 만든다면 파일 더미에서 쟁점을 찾아내는 과제를 테스트셋에 넣어야 한다는 뜻이기도 하다.

다만 수치는 신중하게 읽어야 한다. 공개된 리더보드는 95% rubric 기준의 pass@1이며, 최상위 모델도 10%대에 머문다. 과제 규모가 50개 환경이고, 여덟 개 세무 영역에 특화된 평가라는 전제도 함께 봐야 한다.