DR Pixel이 OCR 없이 페이지 이미지로 딥리서치를 수행한다

무엇인가

복잡한 문서 딥리서치는 보통 PDF를 OCR로 텍스트화한 뒤 검색·추론한다. 하지만 이 논문은 그 전제를 문제 삼는다. 표·그림·수식이 핵심인 과학 논문에서 텍스트 선형화는 시각 구조를 버리거나 왜곡하고, OCR·파싱 오류가 검색과 추론으로 전파된다는 것이다. 저자들은 문서를 페이지 이미지 그대로 두고 검색하고 추론하는 페이지 네이티브 딥리서치를 제안하며, 이것이 OCR 기반 파이프라인보다 더 효과적이고 효율적일 수 있다고 주장한다.

어떻게 동작하나

DR Pixel은 페이지 이미지를 유일한 검색·추론 단위로 쓰는 오픈소스 멀티모달 딥리서치 에이전트다. 오프라인에서 각 논문을 페이지별 이미지로 렌더링하고, Qwen3-VL-Embedding-8B 같은 VLM 임베딩 모델로 고정 크기 벡터를 만든다. 추론 시에는 ReAct 루프에서 텍스트 질의를 같은 임베딩 공간으로 매핑해 상위 k=3 페이지 이미지를 받고, 그 이미지를 VLM 에이전트가 직접 읽어 다음 생각과 검색 또는 최종 답을 낸다. 검색 결과는 텍스트로 변환되지 않고 궤적 전체에서 시각 증거로 유지된다. 코퍼스는 1,062,153페이지다.

무엇과 다른가

평가를 위해 DRPixelBench를 만들었다. 99,055편의 논문 코퍼스에서 500개 QA를 구성했고, 질문은 논문 초록을 원자적 사실로 보강한 뒤 생성해 여러 단계 검색과 추론을 요구하도록 했다. 표·그림·수식이 필요한 Visual 문항과 본문 텍스트로 답하는 Text 문항으로 나뉘며, 네 가지 자동 검사와 인간 전문가 검수를 거친 짧고 검증 가능한 답을 갖는다. 기존 OCR 기반 베이스라인은 텍스트만 검색하는 설정과 텍스트에 그림 검색 도구를 추가한 설정으로 비교됐다.

어떻게 쓰나

훈련 없이도 페이지 네이티브 방식은 OCR 기반보다 나았다. GPT-5.4, Gemini-3.5-Flash, Qwen3.6-27B에서 text+figure 파이프라인 대비 정확도가 각각 5.6점, 5.1점, 5.2점 높았고 검색 호출은 20~30% 적었다. 그림 검색 도구를 추가한 OCR 베이스라인은 에이전트가 도구를 거의 호출하지 않아 이득이 작았다. 다만 오픈웨이트 Qwen3.6-27B는 40.1로 GPT-5.4의 51.9에 뒤졌고, 저자들은 이를 검색과 추론 양쪽의 격차로 분석해 훈련 필요성을 제기한다.

전제와 한계

훈련의 핵심은 교사 궤적의 잡음을 줄이는 counterfactual credit reweighting이다. GPT-5.4가 만든 약 2,500개 궤적을 Qwen3.6-27B에 LoRA로 1에폭, 학습률 1e-4, 배치 16, H200 4장으로 fine-tuning하되, 각 추론·검색 단계를 제거했을 때 gold answer의 로그확률이 얼마나 떨어지는지로 기여도를 계산한다. 추론 단계는 전체 이력에서 제거한 영향, 검색 단계는 검색 직전 대비 검색 후 로그확률 증가로 측정한다. 기여가 0 이하인 단계는 가중치 0, 양의 기여는 순위 기반 가중치를 주고, 추론 단계와 뒤따르는 검색 행동을 묶어 마스킹한다. 최종 답변 토큰에는 λ=1.5의 가중치를 둔 토큰 수준 손실을 쓴다.

훈련 결과 DR Pixel Trained는 DRPixelBench 정확도를 40.1에서 52.1로 올려 GPT-5.4를 근소하게 앞섰다. gold page 검색률은 GPT-5.4보다 6.3점 높았고, 이득이 주로 검색에 집중됐다. 반면 동일 궤적으로 모든 토큰을 똑같이 학습한 vanilla SFT는 page-hit는 조금 높았지만 검색을 57% 더 많이 했고, 20회 검색 예산을 35.8% 문항에서 소진했다. DR Pixel Trained는 그 비율이 9.8%로 GPT-5.4의 17.8%, 미훈련 백본의 19.2%보다 낮았다. IRPAPERS, M3SciQA, AirQA에서는 백본 대비 9.6~14.4점 향상됐고, ViDoRe-V3에서는 페이지·텍스트 검색 모두 4.1점 개선되며 gold page를 직접 준 oracle에 1.8점 차이로 접근했다.

추가 실험은 설계의 전제와 비용을 보여준다. 코퍼스를 2만 편에서 9만9천 편으로 키우면 모든 모델의 page-hit가 떨어지지만 DR Pixel Trained는 8.0점 하락에 그쳐 GPT-5.4의 12.5점보다 견고했고, GPT-5.4 대비 검색 우위는 1.8점에서 6.3점으로 벌어졌다. 페이지 해상도를 1.05메가픽셀, 원본의 약 50%로 제한하면 입력 토큰이 30~48% 줄고 정확도는 1.0~3.8점만 떨어졌으며, 그 상태에서도 OCR 기반보다 2.7~7.4점 높은 정확도를 22~33% 적은 입력 토큰으로 냈다. Visual 문항으로 fine-tuning한 모델은 50.2점으로 Text 문항 fine-tuning의 46.0점보다 좋았고, Visual fine-tuning은 Text 문항에서 1.4점 차이를 유지한 반면 Text fine-tuning은 Visual 문항에서 6~11점 뒤졌다.

개발자에게 이 논문은 표·그림·수식이 많은 PDF RAG나 문서 에이전트에서 OCR 선행 파이프라인을 무조건 기본값으로 두지 말라는 신호다. 페이지 렌더링, VLM 임베딩 검색, 이미지 컨텍스트 유지, 검색 호출 예산 관리, 단계별 기여도 기반 SFT를 함께 설계할 수 있다. 다만 실험은 과학 논문 코퍼스와 500문항 벤치마크에 집중됐고, ViDoRe-V3에서도 시각 정보가 필수인 문항은 1.7%뿐이어서 비과학·복잡 레이아웃 문서의 시각 추론 일반화는 제한적으로 검증됐다. 훈련은 Qwen3.6-27B LoRA와 GPT-5.4 교사 궤적에 한정되며, 고해상도 페이지 이미지는 토큰 비용이 커 해상도·정확도·호출 수의 삼각 트레이드오프를 실제 서비스에서 확인해야 한다.