AI 생성 여부 대신 이미지 속 상황의 사실성을 검증하는 EviScene

무엇인가

AI가 만든 이미지인지 판별하는 것은 그 이미지가 묘사하는 상황이 사실인지와는 다른 문제다. 이 논문은 이미지 사실성 평가(Image Factuality Assessment)라는 과제를 정의한다. 입력은 이미지 한 장과 일반적인 검증 지시문뿐이고, 검증 대상이 되는 텍스트 주장은 주어지지 않는다. 시스템은 지지(supported) 또는 반박(refuted) 판정과 함께 근거에 기반한 설명을 내놓아야 한다. 저자들은 이 설정이 기존의 주장 중심(claim-centered) 벤치마크와 다르다고 강조한다. 텍스트 주장이 주어지면 검색 방향이 고정되지만, 여기서는 모델이 시각 내용과 새로 얻은 증거를 바탕으로 스스로 사실 질문을 세우고 다듬어야 한다. 두 번째 난점은 검색된 증거를 이미지가 묘사한 특정 상황에 정렬하는 것이다. 같은 인물이나 장소에 관한 자료라도 다른 활동·연도·단계에 관한 것일 수 있고, 인물이나 장소가 겹친다는 사실만으로는 판정을 뒷받침하지 못한다.

어떻게 동작하나

이를 평가하기 위해 저자들은 EviLens 벤치마크를 만들었다. 총 10,174장으로 지지 3,114장, 반박 7,060장이며, 통제된 구성(controlled construction)과 웹 수집(web collection) 두 경로로 모은다. 사실 오류 유형은 12가지로, 사건과 관계, 속성과 세부, 맥락이라는 세 계열로 묶인다. 통제 구성 경로에서는 렌더링할 사실 내용을 먼저 명세하고 결과 이미지가 그 명세와 맞는지 검사하며, 반박 예시에는 의도한 오류가 실제로 보이는지까지 확인한다. 웹 수집 경로는 이미 존재하는 이미지에서 출발해 그 시각 내용에 대응하는 사실 기술과 증거를 복원한다. 모든 후보는 두 명의 도메인 전문가가 검토하고, 의견이 갈리면 세 번째 전문가가 판정한다. 데이터는 학습 8,647장, 테스트 1,527장(지지 377장, 반박 1,150장)으로 나뉘며, 같은 출처나 사건에서 나온 이미지는 분할 시 한쪽으로 묶어 누출을 막는다. 평가는 판정 정확도뿐 아니라 설명에 제시된 근거의 충분성까지 본다. 지표는 균형 정확도(BAcc), 매크로 F1, 클래스별 재현율, 그리고 올바른 판정과 결정적 사실에 대한 충분한 근거를 동시에 만족한 비율인 엄격 증거 충분성 비율(SESR)이다.

무엇과 다른가

EviScene은 ReAct 구조 위에 세워진 멀티모달 에이전트다. t번째 턴에서 정책은 입력 이미지와 누적 조사 이력 H_t를 조건으로 짧은 추론과 도구 행동 하나를 생성하고, 도구 실행 결과가 관찰 o_t로 돌아와 이력에 추가된다. 이 루프는 조사가 끝나거나 행동 예산을 소진할 때까지 반복된다. 도구는 세 묶음이다. 시각 도구는 장면과 선택 영역을 살피고, 텍스트를 읽고 위치를 찾고, 객체를 세고, 관계를 확인하고, 증거에 이끌린 재검시를 수행한다. 검색 도구는 웹 검색, 텍스트 기반 이미지 검색, 역이미지 검색을 지원한다. 증거 도구는 출처 페이지를 읽고 입력 이미지와 검색된 참조 이미지를 비교한다. 핵심은 새 관찰이 다음 질문을 다듬고 다음 행동을 정하게 만드는 것이다. 예컨대 외부에서 신원이 확인되면 그 정보를 단서로 이미지의 해당 영역이나 텍스트, 관계를 다시 들여다본다. 조사가 끝나면 정책은 판정, 설명, 그리고 설명에서 실질적 근거로 인용한 관찰 목록을 함께 출력한다. 실행 환경에서 조사당 최대 행동 수는 24회이고, 웹·이미지 검색은 Serper, 역이미지 검색은 Serper Lens, 웹페이지 본문은 Jina Reader, 화면 텍스트 판독은 Baidu OCR을 쓴다. 조사 중에는 팩트체크 사이트 접근이 차단된다.

어떻게 쓰나

학습은 두 단계다. 먼저 Qwen3.5-397B-A17B로 추론 시점과 동일한 에이전트 인터페이스를 통해 교사 궤적을 생성하고, 구조가 완결되고 기록된 관찰이 최종 보고서를 뒷받침하는 궤적만 남겨 4,872개를 얻는다. 이 데이터로 Qwen3.5-9B를 3에폭, 학습률 10^-5로 전 파라미터 지도 미세조정(SFT)한다. 손실 가중치는 도구 호출과 최종 보고서 토큰이 2, 추론 토큰이 1, 지시문과 도구 관찰 토큰이 0이다. 즉 지시문과 관찰은 문맥에는 남지만 손실에는 기여하지 않는다. 다음 단계는 특권 온폴리시 자기증류(PSD)다. 매 라운드마다 현재 정책을 복제해 동결하고 새 조사 궤적을 수집한 뒤, 훈련 전용 개입 모델인 Gemini 3.7 Flash가 검색 방향, 사건 연관, 시각 증거, 검색 증거 해석과 관련된 결정 지점 중 가장 이른 복구 가능 오류를 골라낸다. 힌트 생성기는 정답이나 정확한 도구·쿼리를 노출하지 않는 절차적 힌트를 만들어 원래 문맥에 삽입하고, 동결된 정책이 그 문맥에서 조사를 이어간다. 선택된 결정이 교정되고 최종 보고서가 정확하며 감사를 통과한 연속 구간만 학습에 채택한다. 학생은 선택된 어시스턴트 완성 구간에서 동결 교사의 상위 K개 토큰 확률 분포를 모방하도록 학습되며, 성공한 조사에서 뽑은 보존 목표도 함께 쓴다.

전제와 한계

테스트 결과는 다음과 같다. Qwen3.5-9B 기준으로 직접 판정은 BAcc 65.70%, SESR 1.70%였고, 학습 없는 기본 에이전트는 72.34%와 42.89%로 올랐다. SFT 정책은 78.81%와 50.49%, SFT에 PSD까지 적용한 최종 정책은 79.05%와 52.26%를 기록했다. 기본 에이전트 대비 각각 6.71포인트, 9.37포인트 개선이며, SFT 대비로는 0.24포인트와 1.77포인트가 더 오른다. 매크로 F1은 SFT 75.69%, 최종 74.67%다. 클래스 편향도 줄었다. 기본 에이전트는 반박 재현율 93.48%에 지지 재현율 51.19%로 42.29포인트 벌어져 있었는데, SFT가 지지 76.39%·반박 81.22%로 격차를 4.83포인트로 좁혔고, PSD 후에는 지지 80.11%·반박 78.00%로 2.11포인트까지 줄었다. 공유 백본 5종(GPT-5.5, Gemini 3.7 Flash, Gemini 3.1 Pro, Qwen3.5-397B-A17B, Qwen3.5-9B)에서 EviScene은 직접 판정보다 SESR을 27.11~46.82포인트 끌어올렸다. BAcc는 5종 중 4종에서 개선됐고, Gemini 3.1 Pro만 62.58%에서 62.42%로 사실상 제자리였지만 SESR은 5.57%에서 32.68%로 뛰었다. 최종 9B 정책은 평가된 에이전트 중 SESR이 가장 높고 BAcc는 두 번째로 높으며, 같은 행동 예산에서 훨씬 큰 Qwen3.5-397B-A17B 에이전트보다 BAcc 7.33포인트, SESR 8.97포인트 앞선다.

도구를 하나씩 꺼내는 절제 실험도 인상적이다. 웹 검색을 제거하면 BAcc가 4.68포인트, SESR이 16.37포인트 떨어지고, 이미지 검색을 제거하면 4.53포인트와 12.25포인트, 증거 열람을 제거하면 2.50포인트와 6.22포인트가 빠진다. 모든 경우에 SESR 하락 폭이 더 크다. 이미지 출처별로 보면 통제 구성 이미지에서 SESR이 1.29%에서 52.75%로, 웹 수집 이미지에서 3.46%에서 50.17%로 오르고, 최종 정책의 BAcc는 두 출처에서 76.75%와 77.21%로 비슷하다. 생성기별로는 Nano Banana Pro 46.98%, GPT Image 2 58.39%, Seedream 5.0 Lite 54.64%의 SESR을 보이는데, 뒤의 두 생성기는 학습 이미지 구성에 쓰이지 않았기 때문에 개선이 학습 생성기에 국한된 것이 아님을 보여준다.

실무 관점에서 이 논문이 주는 시사점은 분명하다. 이미지 진위 판별기를 따로 두고 사실 확인을 사람에게 넘기는 대신, 검색·역검색·출처 열람을 도구로 가진 단일 에이전트가 이미지에서 확인해야 할 사실 질문을 스스로 좁혀가게 만들 수 있다는 것이다. 특히 판정 정확도만 보면 드러나지 않는 문제가 SESR에서 드러난다. 직접 판정 모델들의 SESR이 한 자릿수에 머무는 반면 조사형 에이전트는 30~50%대로 올라가는데, 이는 판정이 맞아도 근거가 부실한 응답이 얼마나 많은지를 보여준다. 도입을 검토한다면 판정 라벨의 정확도와 함께 설명에 인용된 관찰이 실제로 그 판정을 지지하는지 별도로 채점하는 파이프라인을 준비해야 하고, 검색 도구 접근 범위(이 논문은 팩트체크 사이트를 차단했다)와 행동 예산을 자체 정책에 맞게 정해야 한다.

전제와 한계도 짚어둘 만하다. 제공된 원문에는 별도의 한계 절이 없지만, 평가 자체가 Gemini 3.7 Flash를 심판으로 쓰는 모델 기반 채점이고 비공개 참조 자료에 의존한다는 점이 명시돼 있다. 즉 SESR을 포함한 모든 수치는 이 심판 모델과 참조 자료에 조건부다. 또한 조사 중 팩트체크 사이트 접근을 차단하고 조사당 행동을 24회로 제한했으며, 테스트셋이 지지 377장 대 반박 1,150장으로 불균형해 균형 정확도를 주 지표로 삼았다. PSD 단계에서는 Gemini 3.7 Flash가 훈련 전용 개입 모델로만 쓰이고 추론 시에는 쓰이지 않지만, 교사 궤적 생성에 Qwen3.5-397B-A17B가 관여한다. 코드·모델·데이터는 공개 예정이라고 밝히고 있다.