HAD-VLM이 의료 영상 측정값을 연속 확산으로 예측한다

무엇인가

이 논문은 임상 영상에서 해부학적 치수와 병변 직경 같은 정량 측정이 진단과 추적에 중요하지만, 초음파에서는 칼리퍼 위치를 수동으로 잡아야 하고 관찰자 간 변동이 크다는 문제에서 출발한다. 기존 딥러닝은 과제별로 정해진 대상과 출력 스키마에 맞춰 측정하는 경우가 많고, VLM은 자연어 프롬프트로 과제를 지정할 수 있지만 숫자를 이산 토큰으로 생성하는 구조에서는 연속 측정값과 토큰 확률 사이의 불일치가 생긴다. 예를 들어 10.1을 10, ., 1로 나눠 생성하면 수치적 근접성이 보존되지 않고, 끝점 좌표가 조금 움직일 때 길이가 조금만 변해야 한다는 기하학적 관계도 명시적으로 강제되지 않는다. 저자들은 이 불일치를 핵심 문제로 놓고, 프롬프트로 측정 대상을 지정하면서도 정밀한 연속 수치를 내는 통합 VLM을 제안한다.

어떻게 동작하나

제안 방법 HAD-VLM은 자가회귀 텍스트 생성과 확산 기반 연속 측정 예측을 하나의 백본에 결합한다. 시각 인코더는 CLIP ViT-L/14를 고정하고 Visual Prompt Tuning으로 초음파 영상에 적응시키며, 각 Transformer 레이어에 로컬 프롬프트 4개, 첫 레이어에 글로벌 프롬프트 4개를 둔다. 클래스 토큰과 첫 글로벌 프롬프트 토큰을 이어 붙인 뒤 2층 MLP 프로젝터로 LLM 임베딩 공간에 맞추고, LLM은 Vicuna-7B-v1.5를 쓴다. 텍스트는 기존처럼 다음 토큰 예측으로 생성하지만, 측정값은 정규화된 시작점 좌표, 끝점 좌표, 픽셀 단위 길이로 이루어진 5-튜플로 두고 DDPM 방식의 확산 과정으로 예측한다. 노이즈가 섞인 5-튜플과 타임스텝을 임베딩해 LLM의 수치 예측 슬롯에 넣고, LLM 문맥을 조건으로 확산 헤드가 노이즈를 예측한 뒤 역샘플링으로 깨끗한 측정값을 복원한다. 추론에서는 대괄호를 제어 토큰으로 써서 텍스트 생성 중 수치 슬롯에 들어가면 DDIM 4스텝 확산을 수행하고, 다시 대괄호를 붙여 텍스트 디코딩을 이어 간다.

무엇과 다른가

후처리는 좌표와 길이의 일관성을 이용한다. 예측된 5-튜플에서 좌표로 계산한 길이와 모델이 직접 낸 길이의 차이를 구하고, 검증 세트에서 85번째 백분위로 보정한 임계값보다 크면 직접 길이를, 작거나 같으면 두 길이의 평균을 쓴다. 또한 확산 샘플링의 변동을 줄이기 위해 독립적으로 초기화한 예측 20개를 각각 후처리한 뒤 길이의 중앙값을 최종값으로 삼는다. 학습은 텍스트용 교차엔트로피 손실과 확산 노이즈 예측용 MSE 손실을 함께 최적화하며, 정렬 단계에서 시각 프롬프트와 커넥터를 학습하고, 회귀 단계에서 확산 모듈과 LLM 마지막 4개 레이어의 LoRA를 학습한 뒤, 마지막 공동 학습 단계에서 두 손실을 함께 최적화한다. LoRA는 rank 32, alpha 64, dropout 0.05를 쓰고 확산은 v-prediction, 100 타임스텝, squaredcos_cap_v2 노이즈 스케줄을 사용한다.

어떻게 쓰나

실험은 EchoNet-LVH의 약 12,000개 B-mode 심초음파 동영상에서 흉골연 장축 뷰를 대상으로 한다. 학습에 40,690개 주석 프레임을 쓰고 87:3:10으로 나누며, IVSd, LVIDd, LVIDs, LVPWd 네 측정을 자연어 프롬프트로 지정한다. 비교 대상은 Vicuna-7B-v1.5로 숫자를 이산 토큰으로 생성하는 자가회귀 베이스라인, EchoNet-LVH에 파인튜닝한 Qwen3-VL, 그리고 확산 헤드 대신 MLP로 직접 회귀하는 VLM이다. HAD-VLM은 네 과제에서 평균 절대오차 1.36, 2.77, 3.05, 1.16mm를 기록해 Vicuna 기반 자가회귀 베이스라인보다 오차를 21.4~37.6% 줄였다. 세부적으로 IVSd는 1.82에서 1.36mm로 25.3% 줄고 R2가 0.25에서 0.56으로, LVIDd는 3.62에서 2.77mm로 23.5% 줄고 R2가 0.60에서 0.78로 올랐다. LVIDs는 3.88에서 3.05mm, LVPWd는 1.86에서 1.16mm로 개선됐다. Qwen3-VL은 LVIDd와 LVIDs에서 3.71, 3.82mm였고, MLP 직접 회귀는 3.00, 3.42mm였는데 HAD-VLM이 더 낮았다. 저자들은 이 오차가 다른 연구에서 보고된 관찰자 간 차이 1.20, 2.97, 3.60, 1.16mm와 비슷한 크기라고 언급하지만 데이터셋과 평가 프로토콜이 달라 동등하다고 단정하지는 않는다.

전제와 한계

절제 실험은 구성 요소의 기여를 분리한다. Visual Prompt Tuning을 빼면 가장 크게 나빠져 IVSd MAE가 1.36에서 1.93mm, R2가 0.56에서 0.11로 떨어지고 LVIDd는 2.77에서 5.07mm, LVIDs는 3.05에서 5.60mm로 증가한다. 후처리 두 가지를 모두 끄면 LVIDd MAE가 2.77에서 3.04mm로 9.7% 늘고 R2가 0.78에서 0.75로 줄며, 좌표-길이 일관성만 적용하면 LVPWd가 1.31에서 1.23mm로 6.1% 줄지만 LVIDs는 3.31에서 3.34mm로 약간 나빠진다. 여기에 앙상블을 더하면 LVIDd가 2.96에서 2.77mm, LVIDs가 3.34에서 3.05mm로 개선된다. 단일 과제 모델 대신 네 과제를 함께 학습한 멀티태스크 모델은 LVIDd MAE를 3.69에서 2.77mm로 24.9%, LVIDs를 3.69에서 3.05mm로 17.3% 줄였고 IVSd와 LVPWd도 각각 1.44에서 1.36mm, 1.27에서 1.16mm로 개선했다. 언어 능력 평가에서는 논문이 인용한 의료 QA 데이터셋에서 word-level F1이 0.298에서 0.320으로, BERTScore F1이 0.869에서 0.882로 오히려 높아졌다. X-ray 경추 상종판 길이 측정에서는 CSXA V3.0에서 만든 9,926개 C4/C5 크롭 데이터로 평가해 MAE를 11.4에서 6.7픽셀로 41.2% 줄였고 절대오차 표준편차도 93.9에서 5.7픽셀로 낮췄다.

개발자 관점에서 이 논문의 핵심은 VLM이 숫자를 잘 생성하도록 프롬프트를 다듬는 문제가 아니라, 언어 생성과 연속 수치 예측을 구조적으로 분리하고 다시 연결하는 설계다. 의료 영상뿐 아니라 측정값, 좌표, 길이, 센서값처럼 연속성이 중요한 출력을 VLM에 붙일 때 이산 토큰 생성만으로는 크기 오차를 직접 최적화하기 어렵다는 점을 보여 준다. 확산 헤드나 회귀 헤드를 별도로 두고, 좌표에서 유도한 값과 직접 예측한 값을 일관성 규칙으로 묶고, 여러 샘플을 앙상블하는 방식은 실무에서 참고할 만하다. 다만 논문의 Fig. 4가 보여 주듯 길이 오차가 작아도 칼리퍼 위치가 해부학적으로 틀릴 수 있으므로, 끝점 위치와 수치 정확도를 별도로 평가해야 한다. 실제 제품에서는 기관·장비별 분포 이동, 물리 단위 보정, 불확실성 표시를 함께 검증해야 한다.

저자들이 밝힌 한계는 분명하다. 이 프레임워크는 현재 선형 측정에 초점을 맞추고 있어 면적이나 복잡한 기하학적 측정으로 확장하는 일은 향후 과제다. X-ray 실험은 픽셀-물리 거리 보정이 없어 픽셀 단위로만 평가했고, 여러 기관과 촬영 조건에서의 외부 검증, 측정 불확실성 추정, 종합 리포트 생성으로의 통합도 미래 연구로 남겨 두었다. 언어 능력 보존도 논문이 평가한 의료 QA 데이터셋에 한정된 결과이므로, 더 넓은 언어 능력과 임상 워크플로에서의 안전성을 별도로 확인해야 한다.