Legora는 고객 데이터를 보지 못해도 법률 에이전트를 어떻게 검증할까

latentspace2026-11-03

법률 AI 스타트업 Legora의 최고기술책임자 제이콥 라우리첸은 Latent Space 팟캐스트에서 법률 에이전트를 만드는 과정의 특수한 제약을 설명했다. Legora는 변호사가 Word 문서를 작성·편집하고, 한 표에서 최대 1만 건의 계약을 검토하고, 실사(due diligence)를 수행하도록 돕는 플랫폼으로 성장했다. 에이전트는 변호사와 고객, 다른 에이전트 사이의 작업을 조율하기도 한다. 회사는 스톡홀름 지하실에서 ChatGPT와 스웨덴 법률, 검색 도구를 조합해 출발한 것으로 소개됐다.

가장 눈에 띄는 대목은 평가 방식이다. Legora는 고객 데이터를 볼 수 없기 때문에 실제 사용 로그를 그대로 분석하는 방식으로는 제품 품질을 관리하기 어렵다. 대신 엔지니어 3명과 변호사 3명이 고객 업무를 모사한 테스트 환경을 만든다. 강화학습에서 말하는 '월드'처럼, 실제 법률 업무와 유사한 데이터룸과 문서 묶음을 구성해 에이전트를 반복 실행한다. 1만 개 파일 규모의 데이터룸도 이런 검증에 활용된다. 별도의 평가 팀과 100명 규모의 법률 엔지니어 조직이 이 작업을 뒷받침한다.

실행 추적을 직접 읽을 수 없을 때는 추적을 익명화·요약해 패턴을 본다. 실패 유형을 10~20개 범주로 좁혀 관리하는 방식이다. 인용 정확도 사례도 공유됐다. 어떤 인용 문제에서 모델 정확도가 70% 수준이었는데, 한 번의 모델 릴리스 뒤 99%까지 올라갔고 Legora 제품 쪽에서 별도 변경을 하지 않았다는 설명이다. 이는 평가 체계가 모델 업데이트의 효과를 감지할 수 있어야 한다는 점을 보여준다.

모델 선택 전략도 실무적이다. Legora는 수년간 모델 선택기를 넣지 않았다가 최근에 추가했다. 라우리첸은 현재 모델이 법률 업무의 약 60%를 잘 처리한다고 추정하며, 나머지는 더 똑똑한 모델이 필요하다고 본다. 초안 작성에서는 Fable과 Opus가 너무 수다스럽고 Astra의 간결한 문체가 낫다는 평가도 나왔다. 긴 계약서 작성은 단순 생성이 아니라 검색 문제로 다뤄야 한다는 관점도 제시됐다.

제품 구성은 문서 편집기와 표 검토, Slack 기반 인테이크, 에이전트 간 연쇄로 이어진다. Tabular Review는 100만 셀 규모의 스프레드시트형 검토 도구로, 업계가 이름까지 비슷하게 따라 만들었다는 이야기가 나온다. 변호사는 이 표에서 계약 조항을 비교하고 예외를 찾는다. Slack에서 시작된 인테이크 봇은 업무를 접수하고, 에이전트가 목록을 만들며, 그 목록이 다시 다른 에이전트를 실행하는 구조다. Legora는 자사 인수 실사에도 이 제품을 사용했다.

법률 테크는 오랫동안 문서 관리나 키워드 검색에 머물렀고, 청구 시간제와 파트너십 구조가 도입 장벽으로 작용했다. 생성형 AI가 계약 검토와 초안 작성의 비용 구조를 바꾸면서 법무법인도 에이전트를 실무에 들이기 시작했다. Legora의 성장은 이런 전환점과 맞물린다. 다만 모델 연구소가 코딩 도구를 다루는 방식처럼 법률 도구를 직접 흡수할지, 법무법인의 파트너십과 주니어 변호사 일자리가 어떻게 바뀔지는 열린 질문으로 남아 있다.

인프라와 데이터 격리도 법률 AI의 핵심 제약이다. 고객 데이터 프라이버시 때문에 Legora는 모든 워크로드를 Azure에서 운영한다. 전사 모델과 오픈웨이트 모델을 조합하는 모델 아비트라지, 법률 리서치를 위한 오픈웨이트 모델 후속학습, 검색·검색 증강·late interaction 같은 검색 기법도 논의됐다. 음성 전사에서는 ElevenLabs를 쓰지 않는다는 선택도 언급됐다. API를 오랫동안 내놓지 않은 이유와 '에이전트 자체가 API가 될 수 있는가'라는 질문도 제기됐다.

개발자에게 주는 의미는 분명하다. 민감 데이터를 다루는 에이전트는 로그를 다 보는 방식의 관측이 불가능하므로, 고객 업무를 모사한 평가 환경과 실패 유형 분류, 인용 검증 같은 간접 지표가 중요해진다. 모델 성능이 좋아져도 검색과 문맥 구성이 초안 품질을 좌우하며, 모델 선택기를 제공할 때는 사용자 경험과 평가 부담이 함께 커진다. 한때 20명 규모로도 충분하다는 내부 발표가 있었지만 현재는 100명 규모에도 인력이 부족하다고 말한다. 포워드 디플로이드 엔지니어와 법률 엔지니어가 고객 온보딩과 제품화를 나눠 맡는 조직 설계도 참고할 만하다.

한계도 있다. 이번 내용은 팟캐스트 대화를 바탕으로 한 것으로, Legora의 평가 방식이나 인용 정확도 개선이 독립적인 벤치마크로 공개된 것은 아니다. 60%라는 수치와 70%에서 99%로의 개선 사례는 CTO의 추정과 내부 관찰에 기반한다. 고객 데이터를 볼 수 없다는 전제 때문에 외부 개발자가 같은 방식을 그대로 재현하기는 어렵다. 다만 규제가 강한 도메인에서 에이전트를 운영하려는 팀에는 평가·프라이버시·검색을 함께 설계해야 한다는 실무적 힌트를 준다.