MedVTok이 2D 이미지와 3D 볼륨을 하나의 토큰 공간으로 통합한다

무엇인가

멀티모달 의료 AI는 검사 수치, 경과 기록, 영상 촬영 같은 이질적 증거를 한 환자 단위로 묶어 이해하려 한다. 그중 의료 영상은 해부 구조와 병리 소견, 질환 진행을 담는 고차원 증거이므로, 원시 영상을 압축된 시각 토큰으로 바꾸는 토크나이저가 멀티모달 모델의 앞단을 맡는다. 문제는 데이터가 모달리티와 차원 양쪽에서 이질적이라는 점이다. 피부경 검사, 안저 사진(CFP), 병리 패치처럼 2D인 입력과 CT·MRI처럼 3D 볼륨인 입력은 촬영 프로토콜도 해부 범위도 진단 내용도 다르다. 기존 의료용 토크나이저는 대개 특정 모달리티와 차원에 묶여 있어 표현이 파편화되고 재사용이 어렵고, 그 부담은 하위 모델이 모달리티 적응과 교차 모달리티 표현 학습으로 떠안는다. MedVTok은 2D 이미지와 3D 볼륨을 하나의 토큰 공간으로 매핑하는 범용 토크나이저를 이 지점에 제안한다.

어떻게 동작하나

논문이 세운 난제는 두 가지다. 첫째, 차원을 넘는 구조 충실성이다. 3D 스캔은 장기·혈관·병변·조직 경계가 인접 슬라이스에 걸쳐 이어지는 체적 연속성을 갖는데, 기존 토크나이저는 2D 또는 3D 한쪽에 특화되거나 픽셀·복셀 단위 재구성에 최적화되어 슬라이스 사이 구조를 인코딩하지 못한다. 둘째, 모달리티를 넘는 임상 의미다. 병리조직은 세포·조직 수준 형태를, CT·MRI는 장기 수준 해부를 보여주듯 같은 임상 개념을 서로 다른 증거로 드러낸다. 기존 의미 정렬은 하나의 사전학습 인코더에 표현을 맞추는 방식이라, 그 인코더의 표현 공간 밖에 있는 모달리티 고유 의미가 과소 대표된다. 논문은 MedITok이 단일 의미 인코더에 정렬해 이런 단일 전문가 편향을 물려받는다고 지적한다.

무엇과 다른가

구조는 차원에 구애받지 않는 패치화에서 출발한다. 입력 x를 C×T×H×W로 두고(T=1이면 이미지, T>1이면 볼륨), C×P_t×P_h×P_w 크기의 겹치지 않는 N개 패치로 자른다. 배치 안의 서로 다른 샘플 패치를 하나의 시퀀스로 이어 붙이고 각 패치에 원본 내 좌표를 부여해, 가변 해상도와 2D·3D 혼합 배칭을 가능하게 한다. 좌표에서 유도한 회전 위치 임베딩(RoPE)을 쓰는 트랜스포머 인코더가 패치별 토큰을 만들고, 이 토큰은 사영·재매개변수화 후 표준 가우시안 제약을 거는 KL 항으로 정규화되며 디코더가 원본을 재구성한다. 재구성 손실은 픽셀 단위, LPIPS, 적대적 손실의 조합이다. 별도의 집계 헤드가 토큰을 하나의 표현으로 모으는데, 저자들은 주의 풀링 대신 선형 계층을 붙인 단순 평균 풀링이 조밀 예측 과제를 개선하면서 다른 과제 성능도 유지한다고 밝힌다.

어떻게 쓰나

첫 번째 감독 장치인 슬라이스 미분 정규화(SliDR)는 복셀 단위 손실이 놓치는 슬라이스 간 연속성을 직접 벌점화한다. 깊이축 슬라이스에 대해 1차 미분 Δ_k(x)=x_(k+1)−x_(k)와 2차 미분 Δ²_k(x)=x_(k+1)−2x_(k)+x_(k−1)을 정의하고, 입력과 재구성의 차분 차이를 L1로 페널티화한다. 첫 항은 슬라이스 간 전이를, 둘째 항은 깊이 방향 곡률을 보존한다. 복셀별 L1 손실은 개별적으로는 정확해도 슬라이스 관통 방향으로 불연속을 만들 수 있다는 것이 이 설계의 근거다.

전제와 한계

두 번째는 다중 전문가 표현 정렬(MERA)이다. 모달리티별로 사전학습된 인코더 패널을 의미 전문가로 두고 두 목표를 건다. 공유 공간 대조 정렬은 입력을 해당 모달리티 전문가에 라우팅해 얻은 특징을 선형 사영으로 공유 공간에 옮긴 뒤, 학습 가능한 온도 τ를 쓰는 대칭 대조 손실로 토크나이저 표현과 정렬한다. 전문가 공간 상보 정렬은 토크나이저 표현을 다시 각 전문가의 원래 차원으로 되돌리는 역투영기를 두고, 역투영된 표현과 원본 전문가 특징 사이 코사인 유사도를 높인다. 전자는 표현을 하나의 공간에 고정하고, 후자는 공유 공간 사영 과정에서 압축될 수 있는 모달리티 고유 지식을 보존한다. 전체 손실은 재구성 손실에 KL 항, SliDR 항, MERA 항을 가중 합한 형태다. 학습은 2단계로, 1단계는 2D 이미지만으로 λ_SliDR=0으로 수행하고 2단계에서 3D 볼륨을 더하며 λ_SliDR=0.1을 준다.

학습 데이터는 공개된 대규모 데이터셋을 모아 9개 모달리티의 이미지 28,769,502장과 볼륨 70,144개다. AdamW에 코사인 스케줄로 단계당 10만 스텝, 학습률은 1단계 10⁻⁴→10⁻⁵, 2단계 2×10⁻⁵→2×10⁻⁶이고 λ_KL=10⁻⁶, λ_MERA=1이다. 2단계에서는 2D 배치 600과 3D 배치 48을 번갈아 투입한다. 평가는 토크나이저를 고정한 채 6개 과제 유형, 24개 벤치마크에서 이뤄진다. 재구성에서는 9개 모달리티 전부에서 PSNR과 SSIM 1위를 기록했고, MRI·CT 네이티브 3D 재구성에서도 PUMIT·MedVAE를 큰 폭으로 앞섰다. k∈{10,20,100,200} 최근접 이웃 분류와 Recall@1 검색에서는 평균 최고 성능으로 BiomedCLIP·MedImageInsight·MedSigLIP 같은 전용 의미 인코더까지 상회했고, 선형 분할 헤드의 평균 Dice, 잠재 확산 합성의 평균 FID, LLaVA-Med 기반 VQA 정확도에서도 1위다. 3D 볼륨 리포트 생성에서는 BLEU-2·RaTEScore·GREEN 모두 최고였고, 임상 인식 지표 GREEN은 0.413으로 MedITok의 0.386을 앞섰으며 해부 구조가 복잡한 골반 부위에서 개선이 두드러졌다. 표에 담긴 개별 PSNR·FID 수치는 본문 서술에 옮겨지지 않았고, 서술된 내용은 순위와 개선 방향이다.

절제 실험은 각 구성요소의 기여를 수치로 보여준다. 의미 정렬이 없는 기준선에서 MedImageInsight 단일 전문가 대조학습을 넣으면 분류·분할이 개선되고, 전문가를 패널로 확장하면 추가 개선이 나타난다. 전문가 공간 상보 정렬을 더하면 분류가 1.53%포인트 올랐다. 주의 풀링을 평균 풀링으로 바꾸면 분할 성능이 크게 오르고, 학습 데이터를 300만 장에서 2,876만 장으로 늘리면 성능이 일관되게 향상된다. 3D를 추가한 2단계에 SliDR을 더하면 3D 재구성 PSNR·SSIM이 함께 개선된다.

개발자 관점에서 이 논문의 실질은 인터페이스다. 토크나이저를 고정해 두고 패치 토큰을 분할 같은 조밀 과제에, 평균 풀링 표현을 검색·분류·VQA에 그대로 넘기는 구조이므로, 모달리티마다 인코더를 갈아 끼우던 글루 코드를 하나의 토큰 규약으로 줄일 수 있다. 다만 좌표 기반 배칭과 가변 해상도 처리를 전제로 하므로 3D 볼륨의 메모리·배치 크기(논문은 48)를 감안해야 하고, 토크나이저는 이미지-텍스트 쌍 없이 학습되었으므로 텍스트 정렬이 필요한 과제에서는 별도 커넥터·LLM 학습이 필요하다는 점을 확인해야 한다. 합성 품질이 재구성 충실도만이 아니라 잠재 공간의 구조에 좌우된다는 지적도 토크나이저 선택 기준으로 유효하다.

저자들이 밝힌 한계는 두 가지다. 학습 데이터가 현재 흔한 영상 모달리티에 집중되어 있어, 다른 모달리티나 임상 사진, 의학 출판물의 삽화 같은 입력은 탐구되지 않았다. 실제 임상 워크플로에서 마주치는 비표준 시각 입력으로 일반화하려면 이런 데이터를 포함해야 한다. 또 MERA가 전문가 인코더를 동결해 쓰기 때문에, 계산 예산이 허락한다면 일부 전문가를 함께 미세조정하거나 새 전문가를 추가하는 것이 도메인 커버리지를 더 넓힐 수 있다고 적었다.