MOSS-Image가 5B DiT와 에이전트로 긴 텍스트 이미지 생성을 푼다

무엇인가

최근 폐쇄형 이미지 생성 시스템은 인포그래픽, UI, 지식 카드처럼 정보 밀도가 높은 그래픽까지 만들어내지만 공개 가중치 모델은 촘촘한 텍스트와 복잡한 레이아웃에서 여전히 무너진다. MOSS-Image의 저자들은 이 격차를 렌더링과 명세(specification)라는 두 개의 맞물린 문제로 진단한다. 렌더링은 긴 텍스트를 정확히 재현하고 공간 제약을 따르는 능력이고, 명세는 짧은 요청을 실제 콘텐츠와 레이아웃 지시로 번역하는 일이다. 상세한 명세가 있어도 렌더링이 못 따라가고, 렌더링만 잘해도 사용자가 비워둔 디자인 결정은 채워지지 않는다는 것이 이 논문의 출발점이다.

어떻게 동작하나

생성 쪽은 5B 단일 스트림 DiT를 처음부터 사전학습한다. 텍스트 토큰은 동결된 Qwen3.5-9B 인코더에서, 이미지 latent는 동결된 FLUX.2 VAE에서 받아 하나의 self-attention 스택에서 함께 처리한다. 블록은 joint self-attention, shared modulation, SiTU-GLU 피드포워드로 구성되는데, SiTU-GLU는 게이트 값에 tanh 기반 상한을 씌워 포화를 조절하는 구조다. 위치 인코딩은 4D RoPE로, 각 헤드를 참조 인덱스 r, 시퀀스 위치 t, 가로 w, 세로 h의 네 부분공간으로 쪼개 서로 다른 주파수로 회전시킨다. 현재는 참조 이미지 입력이 없어 r=0으로 두므로 해당 부분공간은 회전하지 않는데, 저자들은 나중에 참조 조건부 생성을 붙일 때 위치 인코딩을 바꾸지 않기 위해 이 축을 미리 확보해 둔다고 설명한다.

무엇과 다른가

사전학습 코퍼스는 ReLAION, OmniCorpus, DataComp 등에서 모아 SSCD 기반 중복 제거와 자체 탐지기의 AI 생성 이미지 제거로 약 50억 장에서 30억 장으로 줄인다. 주목할 점은 그 다음 단계에서 품질 필터를 추가로 적용하지 않는다는 것이다. 워터마크, 흐릿한 얼굴, 압축 아티팩트 같은 결함은 걸러내는 대신 텍스트 감독에 명시적으로 적어 넣는다. 캡션은 gemma4로 짧은 한 문장, 중간 단락, 구성·피사체·장면 속성·가시 텍스트까지 담은 상세 설명의 세 층위로 만들고, 일부 이미지에는 바운딩 박스·카테고리·전사 텍스트·타이포그래피 속성을 담은 구조화 주석을 붙인다. 주석의 줄바꿈은 이미지에서의 배치와 일치하도록 보존하는데, 저자들은 줄바꿈 자체가 레이아웃 정보이며 다중 행 텍스트 렌더링의 명시적 감독이 된다고 본다. 학습은 해상도와 텍스트 컨텍스트 길이를 늘리는 3단계 점진적 스케줄을 따르고, 마지막 단계에서 종횡비를 유지한 채 이미지 차원을 16의 배수로 정렬하고 면적을 1024² 픽셀로 제한하며 텍스트 토큰은 4096개까지 허용한다. 원본 캡션과 재캡션은 20:80으로 섞고, 옵티마이저는 Muon–AdamW 하이브리드로, 1B 규모 소거 실험에서 AdamW보다 33.2%와 28.6% 적은 스텝으로 0.41과 0.403의 denoising loss에 도달했다고 보고한다.

어떻게 쓰나

명세 쪽은 추론 시점에만 붙는 에이전트형 프롬프트 확장(PE) 모듈이다. GPT-6을 백본으로 쓰며 요청된 매체에 따라 태스크 모듈을 라우팅한다. 공통 코어가 제약·JSON 인터페이스·검증을 정의하고 태스크별 모듈이 콘텐츠와 디자인 가이드를 공급하는 구조라, 인터페이스나 사전학습된 DiT를 건드리지 않고 모듈을 늘릴 수 있다. 에이전트는 필요하면 지식과 시각 레퍼런스를 검색해 내용과 구성을 다듬되, 레퍼런스 이미지는 DiT에 직접 조건으로 들어가지 않고 기획 단계의 참고로만 쓰인다. 최종 산출물은 리터럴 텍스트, 요소, 바운딩 박스, 타이포그래피, 공간 관계를 담은 JSON 레이아웃 계획이며, 사용자 제약·완결성·레이아웃 일관성·텍스트 수용량을 검사한 뒤 생성기의 텍스트 조건 인터페이스로 넘어간다. 자연어 설명과 구조화 레이아웃이 같은 조건화 경로를 공유하도록 설계한 것이 핵심이다.

전제와 한계

평가는 두 층으로 나뉜다. 백본 자체의 렌더링 능력은 LongTextBench와 새로 만든 LongLongTextBench(LLTB), 레이아웃 제어는 7Bench로 재고, 완성 시스템은 RealLayoutArena(RLA)로 본다. LLTB는 영·중 각 120개, 총 240개의 문학 텍스트 렌더링 과제로 구성되며 목표 텍스트가 평균 1,339.8자로 LongTextBench(평균 120.3자)의 약 11.1배, 전체 321,545자로 약 8.4배다. 가장 짧은 목표(444자)가 LongTextBench의 가장 긴 목표(482자)에 맞먹는다. 결과는 LLTB Mean-6 96.3으로 공개 가중치 모델 중 최고이며 Qwen Image 2512(64.9)를 31.4%포인트 앞선다. 가장 긴 영어·중국어 조건에서 각각 97.1과 92.4를 기록해 긴 중국어에서 상대적으로 약하다. 레이아웃 제어는 mIoU_det 0.88, Layout AUC 0.70으로 Ideogram 4(0.44, 0.20)를 크게 앞선다. RLA는 포스터 20, 인포그래픽 20, UI 21개 과제에 대해 블라인드 쌍대 비교로 Elo를 매기는데, MOSS-Image는 1698.70(95% CI 1655.96–1741.43)으로 GPT Image 2(1844.35)에 이어 2위, Seedream 5.0 Pro(1661.16), Qwen Image 3.0 Pro with PE(1614.84), Nano Banana Pro(1590.19)를 앞선다.

소거 실험은 명세와 생성기의 기여를 분리해서 본다. 프롬프트 전략 다섯 가지를 비교하면 짧은 원본 요청이 1081.70 Elo인데, 상세 프롬프트 1509.21, 에이전트 라우팅 없이 확장만 한 Direct expansion 1541.45, 자연어로 푼 레이아웃 계획 1506.20, JSON 레이아웃 계획 1622.87로 나타나 명세를 구체화할수록 인간 선호가 올라간다. 반대로 동일한 자연어 강화 프롬프트를 모든 생성기에 넣고 백본만 바꾼 비교에서는 MOSS-Image 백본이 1807.34 Elo(95% CI 1727.44–1887.24)로 1위, ERNIE Image 1748.51, SenseNova-U1 1689.23이 뒤를 이었다. 시스템 2위와 백본 1위가 갈리는 지점은 PE 모듈의 기여와 생성기 자체의 기여가 다르다는 것을 보여준다.

개발자 관점에서 이 논문이 유용한 이유는 레시피를 공개한다는 데 있다. 모델 가중치뿐 아니라 학습 레시피와 평가 프레임워크를 함께 공개하겠다고 밝혔고, 데이터 필터링을 줄이고 주석을 늘리는 전략, 줄바꿈 보존, 0을 중심으로 한 절대 좌표 바운딩 박스가 [0,1000] 정규화 상대 좌표보다 학습에 없던 해상도로 잘 일반화된다는 관찰 같은 실무적 힌트를 준다. 다만 PE 모듈이 GPT-6에 의존하므로 자체 시스템에 붙일 때는 어떤 LLM으로 대체할지, JSON 스키마 검증을 어디까지 강제할지, 레이아웃 계획의 텍스트 수용량 검사를 어떻게 자동화할지가 실제 통합의 관건이 된다. 또한 LLTB는 OCR 기반 단어·문자 multiset recall로 커버리지를 재므로 텍스트가 아닌 요소의 정확도는 이 지표에 잡히지 않는다는 점을 감안해야 한다.

저자들이 밝힌 한계는 두 가지다. 첫째, 현재 백본은 텍스트-투-이미지 생성만 지원하고 참조 이미지 조건화나 이미지 편집을 직접 지원하지 않는다. 이미지 조건부 생성과 반복적 디자인 개선은 향후 과제로 남겨뒀다. 둘째, 프롬프트 확장기가 외부 언어모델에 의존하기 때문에 미적 판단, 레퍼런스 해석, 사실 오류에서 그 한계가 그대로 명세 품질을 떨어뜨릴 수 있다. 렌더링이 충실해도 명세가 틀리면 결과가 틀린다는 뜻이다. 또한 LongTextBench는 수집된 결과가 96.05~98.85에 몰려 포화 상태로 판단해 부록으로 밀었고, RLA는 61개 과제 규모의 인간 비교라는 점도 함께 봐야 한다.