LoCA는 좌표 기반 위치 인코더를 다중 센서 임베딩으로 확장한다

무엇인가

이 논문은 위도·경도 좌표를 고차원 벡터로 바꾸는 위치 인코더가 왜 구조적으로 제한되는지 분석하고, 다중 센서 지구관측 입력으로 확장하는 LoCA를 제안한다. 위치 인코더는 추론 시 이미지 없이 좌표만으로 임의 지점의 벡터를 반환한다는 점에서, 특정 촬영 시점과 격자에 묶인 AlphaEarth나 Copernicus-FM 같은 사전 계산 임베딩 산출물과 다르다. 저자들은 이런 좌표 함수가 지구관측 파운데이션 모델의 범용 위치 기술자로 쓰일 수 있다고 보지만, 기존 대조학습 방식에는 기하학적 결함이 있다고 주장한다.

어떻게 동작하나

핵심 정리는 Lipschitz 위치 인코더 f_c: S^k → S^{d-1}의 상이 내재 차원 k 이하라는 것이다. 지리 좌표는 k=2이고 임베딩 차원은 d-1=255이므로, 출력은 255차원 구 안의 2차원 곡면에 머문다. 그런데 InfoNCE 계열 대조손실의 점근적 최적점은 구 위의 균등분포이고, 위치 임베딩 분포는 그 균등분포와 겹치지 않으므로 정렬된 쌍에서도 손실이 자유 최적값보다 엄격히 크다. SatCLIP류 구면조화·SIREN 계열 전체에 대해서도 같은 결론이 따라온다. 또한 이미지 인코더와 위치 인코더를 처음부터 공동 학습하면 임베딩 공분산이 낮은 랭크로 붕괴한다. 기존 SatCLIP과 GeoCLIP이 작동하는 이유는 이미지 인코더를 고정해, 위치 인코더가 고정된 고랭크 목표 구름에 좌표를 접어 넣는 어댑터처럼 동작하게 만들기 때문이라고 재해석한다.

무엇과 다른가

다중 모달로 확장할 때 문제는 하나의 위치가 Sentinel-1 SAR와 Sentinel-2 광학처럼 서로 독립적으로 사전학습된 여러 기술자에 동시에 대응해야 한다는 점이다. 독립 학습된 두 이미지 인코더는 짝지어진 입력이 같은 점에 오도록 보장하는 장치가 없어서, 위치 인코더가 두 목표를 동시에 맞출 수 없다. 학습 가능한 어댑터를 끼워도 이미 없는 공동 정렬을 만들어내지는 못한다. 저자들은 따라서 목표 공간이 첫째, 모달리티 간 공동 정렬되어 있어야 하고 둘째, 높은 유효 랭크를 가져야 한다고 정리한다. 위치 인코더는 목표의 스펙트럼을 물려받으므로, 마스크 이미지 모델링 중심의 저랭크 지구관측 파운데이션 모델을 그대로 목표로 쓰면 붕괴가 재현된다.

어떻게 쓰나

LoCA는 두 단계다. 1단계에서는 Sentinel-1과 Sentinel-2 이미지 인코더를 DHEL 대조손실로 공동 학습해, 짝지어진 입력이 같은 임베딩으로 당겨지는 공동 정렬·고랭크 다중 모달 목표를 만든다. 2단계에서는 두 이미지 인코더를 고정하고 각각에 학습 가능한 MLP 투영을 붙인 뒤, 위치 인코더와 메타데이터 인코더를 MV-DHEL 다중 뷰 대조손실로 학습한다. 구현에서 이미지 백본은 ResNet-50, 위치 인코더는 차수 L=40 구면조화 특징맵 뒤에 2개 은닉층 SIREN, 메타데이터 인코더는 14개 변수를 입력받는 3층 MLP이며, 모든 모달리티가 2층 투영 헤드를 공유한다. 두 단계는 각각 100에폭 학습하고, 학습 데이터는 S2-100K에 공동 위치 Sentinel-1 영상과 고도·토지피복·인구밀도 등 14개 메타데이터 변수를 붙여 확장했다.

전제와 한계

평가는 토지피복, 산불 위험, 장기 기후, 지구물리·사회경제, 생물다양성을 아우르는 17개 과제에서 이뤄졌다. 비교 대상은 좌표 기반 위치 인코더인 SatCLIP, GeoCLIP, GT-Loc과 사전 계산 임베딩인 AlphaEarth, Copernicus-FM이다. LoCA는 17개 중 8개에서 1위, 11개에서 상위 2위였고, 과제별 일대일 비교의 68.8%에서 이겼다. 모든 경쟁 모델을 상대로 과반 과제에서 앞선 유일한 모델이라고 주장한다. 선형 프로빙만으로는 12개 중 8개에서 최고 성능을 냈다. 임베딩 활용도도 수치로 제시된다. 0.25° 전 지구 격자 343,928개 지점에서 LoCA는 255차원 중 158차원, 즉 62%를 사용해 Copernicus-FM의 21%와 SatCLIP의 35%를 앞섰다. 반면 처음부터 공동 학습한 SatCLIP 변형은 유효 랭크가 8로 붕괴했다. 1단계 공동 정렬은 코사인 유사도 0.94, L_align 0.12를 보였고, 독립 사전학습된 같은 모달리티 조합은 L_align 1.00, 코사인 유사도 0.50이었다. 1단계를 독립 MoCo 인코더로 바꾸면 전체 벤치마크 성능이 무너졌고, 메타데이터 인코더를 빼면 지구물리·사회경제 과제 평균이 3.5%, 환경 과제 평균이 1.3% 떨어졌다. 적응된 임베딩을 이어 붙였을 때 평균 F1은 80.9%에서 84.3%로 올랐다. 세부적으로 AlphaEarth가 SatBird와 산불 예측에서 앞섰고 LoCA는 산불에서 0.3% 차이로 2위였으며, Copernicus-FM은 기온에서 앞섰지만 다중 모달 영상이 필요하고 LoCA는 좌표만 사용한다.

개발자에게 이 논문은 좌표만으로 조회 가능한 지구관측 임베딩을 만들거나 소비할 때의 설계 체크리스트를 준다. 다중 센서 임베딩을 쓰려면 독립 사전학습 인코더 두 개를 그냥 고정하고 어댑터만 붙이는 방식이 왜 실패하는지, 그리고 공동 정렬 단계와 고랭크 목표가 왜 필요한지를 실험 수치로 확인할 수 있다. 위치 임베딩을 다운스트림 선형 프로브에 바로 붙이는 용도라면 유효 랭크와 모달리티 정렬을 먼저 점검해야 한다. 코드와 사전학습 가중치는 공개 예정으로 밝혀져 있다.

한계도 분명하다. LoCA에는 시간 차원이 없어 계절성과 단기 동역학은 간접적으로만 반영된다. 1단계는 Sentinel-1과 Sentinel-2만 사용했고, 다른 센서나 기후 변수로 넓히는 일은 후속 과제다. 또한 좌표 기반 벤치마크는 공간 자기상관에 민감하므로 블록 분할이나 지역 제외 평가가 필요하다고 저자들은 인정한다. 논문의 이론은 Lipschitz 조건과 구면 좌표 정의역, 정렬 조건 같은 전제 위에 서 있으므로, 실제 응용에서는 이 전제가 맞는지도 확인해야 한다.