정답률이 가리는 탐색 실패를 증거 감사로 분리한 구현형 질의응답 벤치마크

무엇인가

구현형 질의응답(Embodied QA)은 에이전트가 방을 돌아다니며 관찰한 뒤 그 내용에 대해 답하는 과제다. 문제는 정답률 하나로는 이동이 실제로 일어났는지, 관찰이 답의 근거가 됐는지 전혀 알 수 없다는 점이다. 그럴듯한 오답도, 정답도 질문 문장이나 방 라벨, 선택지의 패턴만으로 만들어질 수 있다. 이 논문은 신경-기호적 구현 에이전트에서 구조화 메모리가 정확도를 올렸다고 주장하려면 관찰·기호 기록·질문이 같은 사건을 가리켜야 한다는 전제에서 출발해, 그 전제를 검사할 측정 틀을 만든다.

어떻게 동작하나

벤치마크는 AI2-THOR 5.0.0 위의 ProcTHOR 주택에서 256×256 RGB 관측으로 구성된다. 테스트는 200개 에피소드, 800개 질문이며 참조 경로의 방문 방 수에 따라 S1~S4(1, 2, 3, 4개 이상 방)로 각 50개씩 층화했다. 학습 5,000·검증 500·테스트 200 에피소드가 각각 1,359·151·53개 주택에서 나왔고, 프레임 캐시는 학습 206,899·검증 21,982·테스트 8,335 관측을 담는다. 질문은 최대 6장의 방 라벨이 붙은 궤적 프레임과 시뮬레이터의 프레임별 가시 객체 로그를 읽는 기호 템플릿이 생성하므로, 모든 답은 근거 프레임 색인과 함께 저장되고 구조적으로 검증된다. 질문군은 Existence, Counting, Room Identification, Order, Persistence, Presence-change, Global-count, Rooms-visited 여덟 가지다. 목표물은 스폰 시점에 보이지 않아야 하고, 성공 판정은 지정 target_objectId가 1.5m 이내에 있고 화면 면적의 0.005 이상을 차지하는지를 본다.

무엇과 다른가

핵심 장치는 질문을 고정한 채 답변자에게 주어지는 증거만 바꾸는 평가 사다리다. E0b는 선택지만, E0는 질문·선택지·목표 방 라벨을 주고 이미지는 주지 않는 블라인드 조건이다. E1은 즉시 Done이나 무작위 행동, E2는 질문이 인용한 저장 프레임을 그대로 주는 프레임 오라클, E3는 VLM이 현재 화면만 보고 행동을 고르는 폐루프, E4는 MomaGraph-R1 기반 장면 그래프 폐루프, E5는 참조 궤적을 시뮬레이터로 재실행해 그 프레임을 주는 오라클 리플레이다. E0b·E0·E2·E3·E5는 모두 Qwen3-VL-4B-Instruct로 모델을 고정해 비교한다. 지표는 목표 인스턴스 기준 성공률, 참조 최단경로와 실행 경로의 비로 정의되는 SPL, 거리 감소량, 실행 경로 길이, 행동 형식 준수율, 파싱 커버리지를 함께 보고한다. 선택지 수를 반영한 무작위 기준선은 33.02%다.

어떻게 쓰나

결과가 논문의 요지다. 폐루프 에이전트 E3는 행동 형식 준수 100%, 무효 행동 0%로 매 스텝 유효한 행동을 냈지만 200개 에피소드에서 목표에 한 번도 도달하지 못했다. 평균 12.0개 행동(중앙값 9)을 실행하고 1.03m를 이동했으며 172개 에피소드가 정체(stuck)로 끝났다. 그런데도 정답률은 45.5%로, 이미지를 전혀 받지 않은 E0의 45.4%와 0.1점 차이다. 선택지만 준 E0b는 39.0%였다. 같은 모델에 참조 궤적을 재생해 주면 E5가 57.4%(SPL 0.924)로 올라가고, 인용 프레임만 주는 E2는 58.5%로 E5와 1.1점 차, 폐루프 대비 13.0점 높다. 즉 답에 필요한 증거는 경로 위에 존재하지만 수집되지 않았을 뿐이다. MomaGraph-R1을 쓴 E4도 목표에 도달하지 못했고 평균 0.46m 이동, 168개 에피소드가 정체였으며 800문항 중 128개만 파싱되어 그중 54개 정답(42.2%), 무조건부로는 6.8%다. 교차 모델 E2는 MomaGraph-R1 55.2%, Qwen2.5-VL-7B 55.0%였다.

전제와 한계

타당성 감사는 정답률 해석을 더 깎는다. Persistence·Existence·Room Identification·Order 네 계열이 800문항 중 397개를 차지하면서 텍스트만으로도 강했고, Order는 선택지만으로 60.3%였다. Room Identification의 블라인드 65.0%는 프롬프트에 목표 방 라벨이 들어간 상태라 라벨 제거 실험이 필요하다. Presence-change는 결함 사례다. 경로 종료 시점의 소실 여부를 묻는데 인용 프레임이 최초·최종 가시 프레임뿐이라 부재를 입증할 관측이 빠져 있다. 이 계열은 블라인드 36.3%, E2 33.3%, E5 39.6%인데 E3가 61.8%로 역전되는 아이러니다. 오라클의 입력 개수 누설도 확인된다. Rooms-visited 116문항 중 69문항에서 인용 프레임 수가 정답 방 수와 같아, 이미지 내용을 보지 않고 개수만 세는 규칙으로 59.5%가 나온다(다수답 기준선 39.7%). 오라클 점수 67.2%·68.1%도 이 규칙을 넘지만 그 차이를 시각 정보의 인과적 기여로 읽을 수 없다.

개발자 관점에서 이 논문은 메모리·RAG 평가의 해석 규칙을 제시한다. 검색 증거를 붙였을 때의 정확도 상승은 증거 획득, 증거 보존, 증거 활용이라는 서로 다른 단계가 뒤섞인 결과일 수 있으므로, 같은 질문에 조건만 바꾸는 사다리와 조건별 파싱 커버리지, 계열별 텍스트 사전확률 감사, 입력 개수 고정 실험이 먼저 갖춰져야 한다는 것이다. 특히 블라인드 조건이 무작위 기준선을 크게 웃돈다면 그 과제의 정답률 상당 부분은 증거 없이 설명된다.

저자들이 밝힌 한계도 분명하다. 조건당 한 번의 실행만 했고, 렌더링은 OpenEQA가 쓰는 사실적 스캔보다 단순하며 시각 단계만 그 영향을 받는다. 8스텝 위치 정체 규칙 때문에 제자리 회전·시선 이동이 새 정보를 모아도 정체로 처리될 수 있다. 사다리는 증거 획득과 증거를 받은 상태의 답변을 분리하지만, 보존과 검색·통합은 분리하지 못한다. 또한 기호 기록은 정의상 모든 질문에 답할 수 있는데 리플레이가 57.4%에 그치는 이유로 33픽셀만큼 작은 객체, 결정적 관측을 빠뜨리는 인용 프레임, 표본 프레임만 세는 Global-count의 집계 방식을 든다. 다음 통제 과제로 최종 부재 관측 포함, 단축 민감 계열 재균형, 오라클 이미지 예산 독립화, 동일 관측 궤적 위 메모리 변형 비교를 제안한다.