만화를 애니메이션으로 바꾸는 다중 에이전트 파이프라인이 원작 충실도를 높인다

무엇인가

이 논문이 다루는 문제는 이미 존재하는 만화를 원작의 캐릭터·화풍·줄거리에서 벗어나지 않으면서 일관된 멀티샷 애니메이션으로 각색하는 일이다. 저자들이 지적하는 기존 접근의 실패는 두 갈래다. 만화를 텍스트로 먼저 서술하는 스토리텔링 시스템은 시각 정보를 버리기 때문에 원작 화풍이 사라지고 캐릭터가 장면마다 다른 얼굴이 되거나 애니메이션풍과 실사풍을 오간다. 반대로 만화 페이지를 영상 생성 모델에 그대로 입력하면 모델이 패널의 읽기 순서도, 말풍선의 의미도 모르기 때문에 엉뚱한 이야기를 만들거나 심지어 만화 패널·페이지 자체를 영상 프레임으로 박아 넣는다. 논문의 핵심 관찰은 명확하다. 오늘날의 영상 생성 모델은 '애니메이션하는 법'은 이미 알고, '만화를 이해하는 법'만 모른다는 것이다. 그래서 모델을 교체하는 대신 모델이 빠진 이해를 대본과 스토리보드라는 형태로 공급한다.

어떻게 동작하나

방법의 골격은 실제 애니메이션 제작 공정을 모방한 두 개의 중간 표현이다. 입력은 읽기 순서가 정해진 만화 페이지 집합 M이고, 여기서 순서가 부여된 N_p개(실험에서는 6개)의 패널 P와 대사 전문(transcript) T를 얻는다. 주요 캐릭터에 대해서는 참조 이미지 R을 추가로 쓰는데, 공식 컬러 일러스트가 있으면 그것을, 없으면 만화에서 캐릭터가 선명하게 나온 컷을 잘라 쓴다. 파이프라인은 이 입력을 애니메이션 대본 S={s_1,…,s_Np}와 시각 스토리보드 B={b_1,…,b_Np}로 변환한 뒤 최종 영상 V를 만든다. 각 대본 조각 s_i는 해당 패널 p_i의 장면, 카메라, 캐릭터 위치와 행동, 표정, 대사를 기술하고, 스토리보드 패널 b_i는 그 텍스트 명세를 시각적 구성으로 옮긴다. 중요한 설계는 패널 p_i, 대본 s_i, 스토리보드 b_i가 같은 서사 단위를 가리키는 대응 관계를 끝까지 유지하는 것으로, 이 덕분에 검수와 수정 과정에서 모든 생성물을 원작 패널로 되짚을 수 있다.

무엇과 다른가

각 단계에는 크리에이터 에이전트와 리뷰어 에이전트가 쌍으로 붙는다. 크리에이터가 후보를 만들고, 리뷰어가 원작 패널과 대조해 최선의 후보를 고르고 다음 라운드를 위한 피드백을 남긴다. 개선 루프는 2라운드(N=2)로, 1라운드에서 초기 후보를 탐색하고 2라운드에서 1라운드 피드백으로 후보를 수정한다. 대본은 한 라운드에 3개 후보(N_s=3)를 생성하는데, 대본의 오류는 대체로 국소적이어서 한 후보는 어떤 패널을 정확히 쓰면서 다른 패널을 잘못 읽고, 후보마다 틀리는 지점이 다르다. 그래서 대본 리뷰어는 전체를 통째로 고르지 않고 클립 단위로 조합 선택(compositional selection)을 수행해 후보들의 상보적 강점을 살리고, 남은 약점을 다음 라운드 피드백으로 기록한다. 스토리보드는 3개 후보(N_b=3)를 만들되, 폐쇄형 모델 백엔드에서는 패널들이 스타일·색·조명을 공유하며 한 번에 생성되므로 후보를 통째로 비교 선택한다. 후보 간 패널을 재조합하면 시각적 불일치가 생기기 때문이다. 리뷰어는 1라운드에서 후보를 쌍별로 비교하고, 이후 라운드에서는 새 후보를 이전 최고 후보와 비교하며, 새 후보가 이기지 못하면 이전 최고 스토리보드를 그 대본·피드백과 함께 유지해 최종 쌍의 일관성을 지킨다. 오픈소스 백엔드는 제약상 패널을 개별 생성·선택한 뒤 합성한다.

어떻게 쓰나

이 구조의 핵심은 이중 수준 피드백이다. 대본 수준과 스토리보드 수준의 피드백이 이전 라운드 최고 대본, 원작 패널과 함께 다음 라운드 대본 크리에이터에 전달된다. 스토리보드 리뷰어가 지적한 문제는 대본 서술이 모호하거나 부정확하다는 증상으로 취급되어, 대본 크리에이터가 책임 있는 부분(모호한 공간 서술, 빠진 디테일 등)을 찾아내도록 지시받는다. 이미 맞는 내용을 건드리지 않기 위해 리뷰어가 명시적으로 문제 삼은 클립이나 캐릭터 설명만 수정하고 나머지는 그대로 둔다. 리뷰어 간 피드백이 충돌하면 해당 원작 패널이 최종 판단의 기준이 된다. 전처리에서는 만화 전용 패널 검출 모델과 정렬 알고리즘으로 읽기 순서를 정하고 텍스트를 검출·전사해 페이지 전체를 아우르는 대사 전문을 만들며, 별도의 캐릭터 설명 크리에이터가 참조 이미지에서 얼굴 특징·체형처럼 정체성을 규정하는 안정적 속성만 추출하고 의상·액세서리 같은 가변 속성은 제외해 캐릭터 일관성의 기준으로 삼는다. 영상 생성은 두 모드를 지원한다. 첫 프레임 모드는 스토리보드 패널을 각 클립의 첫 프레임으로 쓰고 클립마다 2개 후보(N_v=2)를 생성해 리뷰어가 대본·패널·직전 선택 클립을 근거로 더 나은 쪽을 고르는 그리디 방식이며, 참조 조건 모드는 완성된 대본과 전체 스토리보드를 참조로 멀티샷 영상을 한 번에 생성한다. 주요 실험 결과는 참조 조건 모드를 쓴다.

전제와 한계

실험은 Manga109와 다양한 배경·캐릭터·상호작용·행동을 담은 추가 사례로 구성한 8개 스토리, 각 6개 순서 패널로 평가한다. 스토리보드 생성 베이스라인은 StoryDiffusion, Story-Iter, AnyStory, 영상 생성 베이스라인은 AniMaker, ViMax, StoryMem이며, 만화 페이지를 Seedance 2.0이나 MiniMax-H3에 직접 넣는 만화→영상 직접 생성과도 비교한다. 공정성을 위해 대본을 쓰는 모든 베이스라인에 Manga2Animate와 동일한 정제 대본을 주고, 참조 이미지를 받는 베이스라인에는 같은 캐릭터 참조 이미지를 제공한다. 즉 비교는 만화 이해 능력이 아니라 생성 능력에 대한 비교다. 평가는 ViStoryBench와 VBench++를 만화 입력·멀티샷 출력에 맞게 개조한 MangaEval로 수행하며, 영상 수준에서 I2V Subject, I2V Background, Subject Consistency, Background Consistency, Motion Smoothness, Dynamic Degree를 원작 패널 대비 세그먼트별로 측정한다. VBench++의 DINO는 DINOv3로, 이진 Dynamic Degree는 연속적 모션 크기 점수로 바꾸고, 미학 품질은 애니메이션 특화 모델 두 개로 샘플 프레임에서 평가한다. 본문 발췌에는 Table 1의 구체적 수치가 실려 있지 않지만, 저자들은 파이프라인이 만화 내용 보존과 클립 간 시각적 일관성에서 더 낫고, 이미지·영상 모델을 바꿔도 개선이 유지된다고 보고한다. 이는 성능 향상이 특정 모델이 아니라 대본·스토리보드·리뷰 과정에서 온다는 주장이다. 사용자 연구는 참가자 37명이 입력 만화와 함께 8개 스토리보드 사례와 8개 영상 사례를 평가했고, 방법 이름을 숨기고 출력 순서를 무작위화했으며, 스토리보드의 캐릭터 정체성·만화 줄거리·AI 환각 부재·전체 성능과 영상의 같은 네 기준에 시각적 편안함·일관성을 더한 모든 항목에서 Manga2Animate가 최다 선택을 받았다. 서론에 따르면 전체 선호에서 90% 이상이 이 방법을 최고로 꼽았다.

절제 실험은 설계 각 부분의 기여를 분리한다. 세 단계 리뷰어를 모두 제거하면 균형 잡힌 성능이 무너지고, 대본을 통째로 고르는 대신 클립 단위로 조합 선택하면 정합성·일관성·미학이 좋아지며 I2VB와 MS는 소폭 하락한다. 대본 수준 또는 스토리보드 수준 피드백 중 하나만 제거해도 CSD, CIDS, PA가 떨어져 두 수준이 상보적임을 보인다. 피드백 정제 루프를 건너뛰거나 스토리보드 생성 단계를 빼도 영상 품질이 떨어지고, 첫 프레임 모드와 참조 조건 모드 모두 동작한다.

개발자 관점에서 이 논문의 실용적 메시지는 생성 모델을 파인튜닝하거나 아키텍처를 바꾸지 않고도, 원본 소스에 근거한 중간 표현과 검수 루프만으로 출력의 충실도와 샷 간 일관성을 끌어올릴 수 있다는 것이다. 만화·웹툰 IP를 영상화하는 파이프라인이라면 패널 단위 대응 관계를 데이터 구조로 유지하고, 후보를 여러 개 뽑아 소스 대조로 선택하며, 하위 단계(영상)의 문제를 상위 단계(대본) 수정으로 되먹이는 루프를 그대로 이식할 수 있다. 다만 백엔드가 폐쇄형인지 오픈소스인지에 따라 스토리보드 선택 전략이 달라지고, 비교 실험은 모두 동일 대본을 제공한 조건에서 이뤄졌으므로 자체 파이프라인에 적용할 때는 대본 품질과 검수 기준을 먼저 확인해야 한다.

저자들이 밝힌 한계는 세 가지다. 확률적 생성 모델 위에 세운 에이전트 파이프라인이라 실행마다 출력이 달라질 수 있고, API 기반 모델은 저작권이나 정책에 민감한 콘텐츠 생성을 제한할 수 있다. 또한 원작 만화가 매우 스케치풍이거나 복잡하게 산만하거나 구도가 난해한 경우, 또는 특정 장면이 이야기 다른 곳의 맥락을 필요로 하는 경우에는 파이프라인이 패널 내용을 오해할 수 있다. 향후 과제로는 복잡하거나 거친 화풍에 대한 견고성, 스토리 사건에 대한 소스 근거 평가, 페이지와 챕터를 넘는 서사 이해 확장을 제시한다.