PrismML, 퀄컴 스냅드래곤 스마트글래스에 1비트 초소형 LLM 얹었다

캘리포니아공과대학(Caltech) 연구자들이 세운 AI 연구소 PrismML이 퀄컴 스냅드래곤 칩 위에서 구동되는 스마트글래스용 초소형 언어모델을 내놨다. 핵심은 클라우드가 아니라 안경 다리 안쪽에서 모델이 직접 돌아간다는 점이다. 퀄컴은 스냅드래곤 서밋에서 이 모델을 시연했다.

공개된 모델 이름은 1비트 Bonsai LLM이다. 스냅드래곤 AR1 Gen 1 플랫폼 기반의 AI 스마트글래스에서 로컬 실행되며, 파라미터 수는 20억 개다. 텍스트만이 아니라 시각 입력까지 함께 다루도록 튜닝돼 있어, 착용자가 눈앞의 사물을 가리키며 실시간으로 질문하는 식의 사용을 겨냥한다.

PrismML의 강점은 압축률이다. 원래 더 큰 모델을 약 4분의 1 크기로 줄이면서도 표준 벤치마크 성능은 거의 그대로 유지한다는 것이 이 회사의 주장이다. 1비트라는 표현은 가중치를 극단적으로 낮은 정밀도로 표현해 메모리와 연산 부담을 줄이는 방향의 양자화 기법을 가리킨다.

배경에는 창업진의 이력이 있다. Caltech 연구자들이 설립했고, UC 버클리의 이온 스토이카(Ion Stoica)가 자문을 맡고 있다. 이들이 내건 목표는 기기 위에서 돌아가는 오픈 웨이트 AI다. 이미 기기에 들어 있는 연산 자원을 더 잘 활용하자는 문제의식이 깔려 있다.

이 지향점은 폐쇄형 AI 연구소에 대한 대안으로 제시된다. 프라이버시를 약속으로만 보장받는 대신 데이터가 기기를 떠나지 않게 하고, 모델 성능을 올리기 위해 컴퓨트를 끝없이 늘려야 하는 구조에서 벗어나자는 것이다. 퀄컴 칩용 모델 공개는 그 비전으로 가는 한 걸음에 해당한다.

개발자 입장에서 주목할 지점은 배포 제약이 극단적인 환경에서 20억 파라미터급 모델이 실제로 돌아간다는 사례가 추가됐다는 것이다. 웨어러블처럼 전력·발열·메모리 한도가 빡빡한 폼팩터에서는 모델 크기 자체가 기능의 가능 여부를 결정한다. 1비트 양자화와 시각·언어 통합 튜닝이 결합된 구성은 엣지 추론 파이프라인을 설계할 때 참고할 만한 조합이다.

다만 아직 제품은 없다. PrismML 모델을 탑재한 스마트글래스는 발표되지 않았고, 이번 시연은 칩 플랫폼 위에서의 구동 가능성을 보여준 단계다. 실제 착용 가능한 기기, 배터리 지속 시간, 가격, 출시 시점은 확인되지 않았다.