인터넷이 끊겨도 답하는 로컬 AI 비서 Survival LLM 나왔다

Hacker News4일 전

인터넷이 죽은 뒤에도 쓸 수 있는 AI 비서가 등장했다. Survival LLM은 무료 오픈소스로 공개된 로컬 AI 어시스턴트 겸 비상용 자료실이다. LLM과 문서 더미가 전부 사용자 컴퓨터 안에 들어가고, 질문은 외부 서버로 나가지 않는다. 정전 때 음식을 어떻게 보관할지, 화상을 어떻게 처치할지, 물을 어떻게 정수할지를 물으면 신뢰할 만한 자료에서 답을 찾아 제시한다.

핵심은 검색 증강 방식이다. 답변마다 어떤 문서를 읽었는지 목록으로 보여주고, 항목을 누르면 해당 구절이 하이라이트된 원문이 열린다. AI가 틀렸을 때 사람이 직접 확인할 수 있게 통로를 열어둔 셈이다. 계정도 추적도 없고, 한 번 설치를 마치면 네트워크 없이 동작한다.

내장 라이브러리는 의료 참고자료와 FEMA·CDC 지침, 생존 매뉴얼, 수리 가이드, 하우투 문서로 구성된다. 위키백과 문서 약 93만 건이 포함되고, 미국 국립의학도서관의 MedlinePlus, 영국 NHS의 Medicines A to Z, Ready.gov 재난 안내, 미군 의학·생존 교범, 적정기술 위키 Appropedia, Stack Exchange의 주택 수리·요리·원예·아웃도어·아마추어 무선 Q&A도 함께 들어간다. 전체 다운로드는 9GB, 설치 후 19GB다. 위키백과와 iFixit을 뺀 축소판은 1.3GB를 받아 3GB를 차지한다.

앱은 실행할 때 컴퓨터 메모리를 확인해 맞는 모델을 자동으로 내려받는다. 메모리가 클수록 더 큰 모델이 붙는다. 128GB 이상 맥에는 NVIDIA Nemotron 3.5 Super(80GB), 32~96GB 맥에는 Qwen3.8 27B(18GB), 32GB 이상 윈도우 PC에는 Nemotron 3.5 Lightning(25GB), 16~31GB 기기에는 IBM Granite 4.2 8B(6GB)가 선택된다. 앱 자체는 어느 플랫폼에서나 같은 모습이다.

모델별 성능은 정전과 응급처치 관련 22문항을 블라인드 채점한 자체 테스트로 공개됐다. Nemotron 3.5 Super와 Qwen3.8 27B가 22문항 중 21문항, Nemotron 3.5 Lightning이 19문항, Granite 4.2 8B가 14문항에서 공식 지침의 요지를 맞혔다. 다만 이는 이전 빌드의 라이브러리로 진행한 결과다. 제작 측은 작은 모델일수록 오답이 늘어난다며, 그래서 앱이 항상 출처를 함께 노출한다고 설명한다.

설치 환경은 애플 실리콘(M1 이상)에 macOS 14 Sonoma 이상, 또는 64비트 윈도우 10·11이다. 준비 시간은 컴퓨터 성능과 회선 속도에 따라 20분에서 2시간 30분까지 걸리며, 실제 클릭은 5분 남짓이고 나머지는 다운로드 대기다. 필요한 여유 공간은 모델 크기에 5GB를 더한 값이고, 전체 라이브러리를 푸는 동안에는 약 27GB가 추가로 필요하다(축소판은 10GB). 앱스토어를 거치지 않는 배포 방식이라 첫 실행 때 맥은 Gatekeeper, 윈도우는 SmartScreen 경고를 한 번 통과해야 한다.

자기 문서를 넣을 수도 있다. 발전기 매뉴얼이나 가족 비상 계획서 같은 PDF, 워드 문서, 전자책, 메모를 추가하면 AI가 그 안에서도 검색한다. 물론 파일은 로컬에 그대로 남는다. 앱 하단에서 한 번의 클릭으로 새 버전을 설치하는 업데이트 경로도 있다.

전력 소모는 노트북에서도 감당 가능한 수준으로 측정됐다. MacBook Pro 기준 답변 생성 중 약 100W를 쓰고 질문 하나에 5~40초가 걸린다. 완충 배터리로 대략 100~300회 답변을 처리할 수 있고, 소형 발전기나 파워스테이션으로도 무리 없이 돌아간다.

이 프로젝트가 겨냥하는 지점은 분명하다. 클라우드 API에 의존하는 어시스턴트는 연결이 끊기는 순간 아무것도 못 한다. 반대로 로컬 추론 스택과 공개 라이선스 문서, 검색 기반 인용을 조합하면 네트워크 없이도 쓸 만한 도구가 된다는 것을 실제 배포물로 보여준다.

개발자에게는 참고할 만한 설계가 여러 개 들어 있다. 하드웨어 사양을 읽어 모델을 분기하는 라우팅, 설치 시점에 문서 인덱스를 통째로 번들하는 배포 방식, 답변마다 근거 구절을 역추적해 보여주는 UI는 사내 오프라인 지식 비서를 만들 때 그대로 응용할 수 있다. 물론 전제는 분명하다. 모델은 틀릴 수 있고 작은 모델은 더 자주 틀리며, 최종 판단은 인용된 원문을 읽는 사람 몫이다. 의료·재난 상황에서 이 답변을 유일한 근거로 삼아서는 안 된다는 점도 함께 새겨야 한다.