통합 멀티모달 모델에서 조향 벡터는 양방향으로 전이된다

무엇인가

이 논문은 통합 멀티모달 모델(UMM) 안에서 시각과 언어의 개념이 실제로 공유되는지, 아니면 같은 가중치를 쓰더라도 내부적으로 분리돼 있는지를 묻는다. 기존 연구는 텍스트와 이미지 표현이 거의 직교하고, 텍스트 쪽 지식 편집이 이미지 생성에 잘 나타나지 않으며, 같은 과제의 회로가 겹치지 않는다는 관찰을 내놓았다. 저자들은 상관관계가 아니라 개입의 인과 효과로 이 질문을 다룬다. 한 양식에서 찾은 조향 벡터를 다른 양식 토큰에 적응 없이 더해 출력이 실제로 바뀌는지를 본다.

어떻게 동작하나

방법은 단순하다. 은닉 표현 h_l에 단위 조향 벡터 v̂_l을 α만큼 더해 h'_l = h_l + α v̂_l로 개입한다. 개념의 두 극(예: happy/sad)에 대해 N=100개의 최소 쌍을 만들고, 같은 층에서 두 입력의 표현 차이를 평균해 v_l을 얻은 뒤 층별로 정규화한다. 텍스트는 Gemini 2.5 Flash로 만든 고정 대조 템플릿의 마지막 토큰 은닉 상태를 쓰고, 이미지는 기준 이미지를 Gemini 2.5 Flash Image 등으로 편집해 양극 이미지를 만든 뒤 모든 이미지 토큰의 은닉 상태를 평균 풀링한다. 크기·깊이·공간 개념에는 Gemini 3 Pro Image와 Reve를 추가로 썼다. 벡터는 생성되는 모든 토큰과 텍스트의 경우 프롬프트 속 주어 구절에도 더하며, 단일 층보다 효과가 큰 연속 4개 층(Emu3.5는 8개) 구간을 모델 깊이의 1/4, 1/2, 3/4 지점에서 적용한다. 텍스트→텍스트, 텍스트→이미지, 이미지→텍스트, 이미지→이미지 네 설정을 비교하고, 전이 설정에서는 대상 양식 데이터를 전혀 쓰지 않는다. 실험 모델은 텍스트와 이미지 토큰을 하나의 자기회귀 스트림으로 생성하는 UniAR(8B), Emu3.5(34B), Liquid(7B)다. UniAR 이미지 토큰은 언어 정렬 비전 인코더에서 온 의미 토큰이고, 나머지 둘은 픽셀 재구성용 토큰이다.

무엇과 다른가

평가는 개념이 실제로 나타났는지를 LLM 심판이 스티어링 전후 출력을 무작위 순서로 비교해 고르는 방식으로 한다. 20개 프롬프트에 대한 개념 적중률의 강도별 곡선 아래 면적(AUC)을 구하고, 전이 설정의 AUC를 같은 양식 내 설정의 AUC로 나눈 회복률(Rec)을 쓴다. 1이면 같은 양식 벡터만큼 조종한다는 뜻이고 1을 넘으면 더 낫다는 뜻이다. 심판은 사람 평가와 Cohen κ=0.62로 일치했고, 별도로 텍스트 유창성과 이미지 시각 품질도 측정했다.

어떻게 쓰나

세 모델 모두에서 대부분 개념의 조향 벡터가 양방향으로 전이됐다. 공간(left-right)만 제외하면 모든 개념에서 세 모델 모두 텍스트 유래 벡터가 이미지 생성에서 같은 양식 내 효과의 80% 이상을 회복하는 층 구간이 있었다. UniAR가 가장 강했는데 중간 층에서 이미지 효과의 평균 84%, 텍스트 효과의 74%를 회복했다. 텍스트→이미지는 세 모델 모두 중간 층에서 가장 강했고, 이미지→텍스트는 UniAR에서 이른 층, Emu3.5와 Liquid에서 늦은 층이 강해 평균 0.87과 0.91까지 올랐다. 텍스트→이미지가 더 쉬웠다. Emu3.5와 Liquid에서는 텍스트 유래 벡터의 이미지 회복률이 평균 1.10과 1.20으로 같은 양식 내 이미지 벡터보다 오히려 좋았다. 저자들은 이것이 전이가 특별히 강해서라기보다 이 두 모델의 이미지 유래 벡터가 약하기 때문이라고 해석한다. 중간 층 이미지→이미지 AUC가 UniAR 0.83인데 Emu3.5와 Liquid는 0.44와 0.43이었다. 이미지→텍스트는 UniAR에서 최대 0.96까지 회복됐지만 Emu3.5와 Liquid는 늦은 층의 0.87, 0.91에 주로 의존했다. 개념별로는 감정이 양방향 평균 0.95로 가장 고르게 전이됐고, 나이가 이미지로 1.02~1.87, 크기가 텍스트→이미지 1.12인 반면 이미지→텍스트는 0.32에 그쳤다. 공간 개념은 대부분 설정에서 실패했다.

전제와 한계

출력 품질과 개념 적중률은 공짜가 아니다. AxBench류 심판으로 보면 텍스트는 개념 적중률이 정점에 이르는 강도 범위의 0.4 지점에서도 유창성이 미조종 출력의 약 3/4 수준이고 그 뒤 급격히 무너진다. 이미지는 강도 범위의 0.6 지점, 개념 적중률이 최대치의 90%를 넘는 지점에서도 일관성이 미조종 출력의 약 90%를 유지해 텍스트보다 완만했다.

한 양식에만 고유한 개념에서도 해석 가능한 전이가 나타났다. 격식체 대 구어체 벡터를 이미지 생성에 더하면 옷차림과 방이 더 격식 있게, 흑백과 화려함, 럭셔리 미니멀 스타일 쪽으로 바뀌었다. 영어 대 프랑스어 정체성 벡터는 맨사드 지붕, 아르누보 포스터, 빈티지 자동차처럼 역사적이고 장식적인 프랑스풍 이미지를 만들었고 이미지 속 글자는 프랑스어처럼 보이지만 존재하지 않는 단어가 됐다. 반대로 이미지의 저해상도 대 고해상도 벡터를 텍스트에 더하면 더 짧은 문장, 적은 토큰, 'blurry' 언급, 심지어 혼란 표현이 나왔다. 모션 블러 벡터는 차분한 단어나 빠른 움직임 관련 단어로, 카메라 앵글 벡터는 이미지는 잘 조종했지만 텍스트에서는 다음 토큰 확률만 미세하게 흔들고 예측 토큰을 바꾸지는 못했다.

기하학적 분석은 표현은 분리돼 있지만 방향은 정렬될 수 있다는 그림을 보여준다. 텍스트와 이미지 활성화는 서로 다른 좁은 영역에 있고, 행복한 이미지의 평균 활성화는 평균적인 행복한 문장보다 평균적인 슬픈 이미지에 10배 이상 가깝다. 그런데 같은 개념의 텍스트 유래 벡터와 이미지 유래 벡터는 UniAR에서 최대 0.60, Liquid에서 최대 0.51의 코사인 유사도를 보였다. UniAR와 Liquid의 42개 개념·층 구간 중 30개가 무작위 기준(±0.03)보다 2표준편차 이상 높았고, Emu3.5는 색을 제외하면 거의 0에 가까웠다(최대 0.24). 전체 모델·개념·층 구간을 평균하면 코사인 유사도와 양방향 평균 회복률의 상관은 Spearman ρ=0.38(p<0.01), Pearson r=0.22(n=63)였다. UniAR의 텍스트→이미지에서는 ρ=0.76으로 더 강했다. 저자들은 이를 두 양식이 별도 부분공간을 쓰면서도 내부 관계 구조는 일부 공유한다는 증거로 해석한다.

개발자에게 이 논문은 공유 가중치 UMM을 제어할 때 대상 양식 데이터 없이도 한쪽 양식에서 조향 벡터를 만들어 다른 쪽에 시험해 볼 수 있다는 실무적 가능성을 준다. 다만 전이는 대칭이 아니다. 텍스트→이미지가 더 안정적이고, 이미지→텍스트는 모델·층에 민감하며, 공간 개념처럼 실패하는 축도 있다. 또 강도를 올리면 개념 적중률보다 출력 품질이 먼저 무너질 수 있으므로 층 구간과 α를 반드시 스윕하고 LLM 심판과 사람 검수를 함께 해야 한다. 저자들이 밝힌 범위도 제한적이다. 자기회귀 방식으로 텍스트와 이미지 토큰을 같은 가중치로 생성하는 세 UMM만 다뤘고, 개념은 8개와 소수 정성 사례에 그친다. 확산 모델이나 생성 가중치가 분리된 모델, 더 다양한 개념·모델 계열로 일반화된다고 주장하지 않는다. 이미지 최소 쌍은 수작업 검수로 품질을 관리했고 5% 미만은 재생성했으며, 정성 분석은 주로 UniAR에서 이뤄졌다.