바이두, 페이지 수 제한 없는 오픈소스 OCR 'Unlimited OCR 2' 공개

雷锋网5일 전조회 1

바이두가 10월 27일 문서 인식 모델 'Unlimited OCR 2'를 공개하고 코드와 모델 가중치를 오픈소스로 함께 배포했다. 회사 측은 이 모델이 페이지 수에 상한을 두지 않고 문서를 한 번에 처리하는 것을 세계 최초로 구현했다고 밝혔다. 기존 OCR이 한 장 또는 수십 장 단위로 끊어 읽고 결과를 이어 붙이는 방식이었다면, 이번 모델은 문서 전체를 하나의 디코딩 흐름 안에서 다룬다는 것이 차이다.

회사가 제시한 수치는 두 갈래다. 우선 해리 포터 시리즈 7권, 누적 3600쪽이 넘는 분량을 한 번에 파싱하면서도 정확도와 처리 속도를 유지했다고 한다. 벤치마크로는 다중 페이지 문서 파싱을 평가하는 MPDocBench에서 84.6점, 100쪽 이상 초장문 문서를 겨냥한 MarathonDocBench에서 77.1점을 기록했다고 밝혔다. 같은 발표에서 비교 대상으로 언급된 모델은 Qwen 3.8-Max, Gemini-3.8-Flash, GLM-5.3-Flash, DeepSeek-4.1-Flash 등이며, 바이두는 자사 모델이 이들보다 앞선 엔드투엔드 성능을 냈다고 주장했다.

핵심 기법은 '희소 참조 슬라이딩 윈도우 어텐션(Sparse Reference Sliding Window Attention, SR-SWA)'이다. 사람이 책을 옮겨 적을 때 현재 페이지에 집중하고, 앞 내용이 필요할 때만 되돌아보는 방식에서 착안했다는 설명이다. 구현상으로는 페이지 게이트(Page Gate)가 각 질의의 시각적 참조 범위를 문서 전체에서 관련 페이지로 좁히고 페이지 간 위치 관계를 모델링한 뒤, 점수가 높은 시각 토큰 버킷(Token Buckets)으로 장거리 시각 의존성을 잡아낸다. 100쪽 문서 기준으로 SR-SWA의 단일 스텝 디코딩 속도가 전체 어텐션 대비 7배, 이전 세대의 R-SWA 대비 5.6배 빨라졌다는 측정치도 함께 공개했다. 여기에 무한 지평 디코딩(Unlimited-Horizon Decoding)을 더해 초장문 처리 시의 연산량과 GPU 메모리 사용을 낮췄다고 설명했다.

배경에는 문서 길이 자체가 늘어난 상황이 있다. 장문 리포트나 서적 단위 자료를 통째로 읽히려는 수요가 커지면서, 페이지 단위 인식 후 결과를 이어 붙이는 방식으로는 정확도와 비용 양쪽에서 한계가 드러났다. 1세대 Unlimited OCR은 6월 22일 공개돼 참조 슬라이딩 윈도우 어텐션으로 처리 범위를 수십 페이지까지 늘렸고, 바이두에 따르면 공개 직후 GitHub 트렌딩과 Hugging Face 모델 트렌딩 등 4개 목록 1위를 기록했으며 5일 만에 GitHub 스타 1만 개를 넘겼다. 현재까지 Hugging Face 누적 다운로드 1000만 회, GitHub 스타 2만8500개를 기록했고 얀 르쿤이 이를 공유했다는 내용도 회사 발표에 포함됐다.

개발자 입장에서 실질적인 변화는 파이프라인 구성이다. 지금까지는 긴 PDF를 페이지나 청크로 잘라 각각 OCR을 돌리고, 순서를 맞추고, 머리글·바닥글·표 경계에서 깨진 결과를 후처리하는 코드가 필요했다. 페이지 상한이 사실상 사라지고 처리 비용이 줄어든다는 주장이 맞다면 이 접착 코드의 상당 부분이 모델 내부로 흡수된다. 한국어 문서, 세로쓰기, 스캔 품질이 나쁜 스캔본에서의 성능은 별도로 검증해야 하지만, RAG 전처리나 대량 문서 아카이빙처럼 입력 길이가 긴 작업에서는 먼저 테스트해 볼 만한 선택지가 하나 늘었다.

다만 확인이 필요한 부분이 남는다. 공개된 점수는 바이두가 제시한 벤치마크 결과이며, 독립적인 제3자 재현은 원문에 언급되지 않았다. 비교 모델들도 같은 조건에서 평가됐는지, 페이지 수가 늘어날 때 정확도가 어느 정도 떨어지는지에 대한 세부 수치는 제시되지 않았다. 해리 포터 전권 처리 역시 회사가 밝힌 실측 예시다. 실제 도입 전에는 자사 문서셋으로 페이지 수를 늘려가며 정확도와 지연 시간 곡선을 직접 재는 편이 안전하다. 코드와 가중치는 GitHub(baidu/Unlimited-OCR)와 Hugging Face(baidu/Unlimited-OCR-2)에서 받을 수 있고, 바이두 클라우드와 자체 AI 오픈 플랫폼에도 함께 올라갔다.