연결 단절 엣지 생성AI의 신뢰 메커니즘과 비용을 실측한다

무엇인가

이 논문은 클라우드 연결을 전제하지 않는 엣지 생성 AI, 특히 네트워크가 끊긴 환경에서 로컬 RAG 비서를 어떻게 신뢰할 수 있게 만들고 그 신뢰 메커니즘의 비용이 얼마인지 다룬다. 기존 RAG 신뢰 연구는 서버급 하드웨어와 연결된 평가 파이프라인에서 이뤄졌고, 엣지 LLM 연구는 속도·메모리·검색 품질을 재지만 근거성, 기권, 신뢰 비용은 거의 측정하지 않았다는 문제의식이다. 저자들은 연결성을 배경 조건이 아니라 설계 차원으로 보는 C0부터 C4 프레임워크를 제안한다. C0은 클라우드 연결, C4는 물리적 에어갭이며, 단절 정도에 따라 허용되는 추론·업데이트·연합·보증 메커니즘과 위협 모델이 달라진다고 주장한다. 이 프레임워크는 표준이 아니라 저자들의 제안이며, C3에는 단방향 데이터 다이오드가 들어가고 C4는 물리적 연결이 없는 엄격한 에어갭으로 정의한다.

어떻게 동작하나

방법의 핵심은 추론 시점 신뢰 메커니즘 분류와 서명·버전 관리된 지식 팩이다. 지식 팩은 문서와 벡터 인덱스를 묶은 번들로, SHA-256 해시 매니페스트에 Ed25519 서명을 붙여 배포하고, 기기에서는 활성화 전에 서명과 모든 해시를 검증한다. 서명은 진정성·무결성만 덮고, 최신성·롤백 방지는 버전 번호·만료·호환성 메타데이터가, 콘텐츠 신뢰는 별도 큐레이션·출처·적대적 테스트가 담당한다는 세 층 구분이 중요하다. RAG용 매니페스트에는 임베딩 모델, 청킹·인덱스 빌드 설정, 출처, 점수 임계값 보정에 쓴 데이터도 기록해야 한다고 제안한다. 추론 쪽에서는 생성기 자체 기권, 결정론적 출력 검증, 검색 점수 게이트, 사후 NLI 함의 검증을 계층화한다. 검색 점수 게이트는 최상위 검색 문단의 코사인 유사도가 임계값보다 낮으면 생성을 보류하고, 임계값은 분할 컨포멀 보정으로 정한다.

무엇과 다른가

실험은 라즈베리 파이 5 16GB에서 리눅스 네트워크 네임스페이스에 루프백 인터페이스만 남겨 네트워크 격리를 흉내 내고 진행했다. 생성기는 Qwen2.5-Instruct 1.5B·3B·7B를 4비트 Q4_K_M으로 양자화해 llama.cpp로 서빙했고, 임베딩은 BGE-M3, 인덱스는 HNSW를 썼다. 코퍼스는 SQuAD 2.0 개발 세트 35개 문서 중 28개에서 뽑은 950개 문단이고, 나머지 7개 문서는 지식 격차 조건을 만들기 위해 제외했다. 질문은 300개로, 정답 가능 100개, 주제 내 답불가 100개, 코퍼스 밖 100개를 고정 시드로 뽑았다. 구성은 세 모델 크기에서 검색 문단 3개, 3B에서 1개와 5개를 더해 총 5개 구성이며 1,500회 생성을 수행했고, 오염 팩 실험은 30개 질문에 대해 별도로 했다. 전체 실행은 약 11.5시간 걸렸고 열 스로틀링은 기록되지 않았다.

어떻게 쓰나

신뢰 메커니즘 결과는 서로 다른 실패 모드를 보여준다. 검색 점수 게이트는 코퍼스 밖 지식 격차를 거의 완벽하게 분리했지만 AUROC 0.97, 주제 내 답불가 질문은 AUROC 0.68로 잘 잡지 못했다. 임계값은 α=0.1, 2,000회 랜덤 분할에서 정답 가능 질문의 상위 1위 점수 분포로 보정했고 평균 0.50, 분할 간 표준편차 0.02였다. 이 평균 임계값은 경험적 보정값이라 그 자체로 형식 보장은 없으며, 분할 컨포멀 보장은 정답 가능 질문의 최소 90%가 게이트를 통과한다는 유지율에 관한 것이지 정답률이나 선택 위험에 관한 것이 아니다. 결정론적 출력 검증기는 인용 표시만 있고 답 텍스트가 없는 출력을 기권으로 바꿨고, 가장 작은 1.5B 모델에서 답변된 질문의 위험을 0.81에서 0.46으로 낮추면서 관측된 정답 손실은 없었다. NLI 기반 함의 검증기는 추가 이득이 거의 없었고, 7B 모델에서는 답불가 라벨 질문에 대한 실질 답변의 96%가 검색된 문단의 정규화된 스팬과 일치해 지원 검사만으로 답 가능성을 가르기 어렵다는 점을 보여줬다.

전제와 한계

모델 크기와 문맥 수의 트레이드오프도 실측됐다. 3B 모델은 7B와 같은 정답 포함률 75%를 보이면서 지연시간과 추정 에너지는 절반 이하였지만, 7B는 토큰 F1 0.5 이상 기준을 훨씬 자주 넘었고 74% 대 31%, 위험도 더 낮았다. 검색 문단을 3개에서 5개로 늘리면 3B에서 정답 포함률이 75%에서 52%로 떨어져 문맥을 무조건 늘리는 것이 낫지 않다는 결과를 냈다. 업데이트 쪽에서는 서명된 팩 검증이 약 4.5ms인 반면 팩 문단을 기기에서 임베딩하는 데 약 29분이 걸려 검증은 싸고 빌드는 비싸다는 전제를 확인했다. 변조 문단과 서명 없는 매니페스트 수정은 거부됐다. 서명·해시 검사만으로는 9개 업데이트 공격 중 6개를 통과시켰지만, 버전 상태·만료·폐기·호환성을 층층이 검증하면 이 공격들을 거부했다. 그러나 유효하게 서명된 오염 팩은 모든 팩 검사를 통과했고, 이전에 정답이던 30개 질문에서 정답은 0개가 되고 14개가 주입된 답을 반환했다. 그중 13개는 게이트·스팬·함의 검사를 모두 통과했고 함의 임계값은 14개 중 어느 것도 거부하지 못했으며 한 건만 스팬 검사에서 걸렸다.

개발자에게 이 논문은 오프라인 엣지 LLM을 배포할 때 먼저 연결성 체제를 C0부터 C4 중 어디로 둘지 정하고, 그 체제가 허용하는 업데이트·보증 메커니즘을 고르라고 요구한다. C3·C4에서는 반복적 연합학습보다 서명·버전 관리 지식 팩이 현실적 업데이트 채널이며, 활성화 전에 서명·해시뿐 아니라 시퀀스 번호·만료·폐기·호환성까지 확인해야 한다. 다만 서명은 콘텐츠의 진실성을 보장하지 않으므로 큐레이션·출처 증명·적대적 팩 테스트를 발행자 쪽에서 먼저 해야 한다. 추론 파이프라인에는 값싼 결정론적 출력 검증을 기본으로 넣고, 검색 점수 게이트는 지식 격차 탐지에 쓰되 주제 내 답불가 질문을 잡는 만능 해법으로 기대하지 말아야 한다. 고위험 용도라면 답 가능성 인식 검증이나 사람 검토가 필요하고, 모델 크기와 검색 문단 수는 품질·지연·에너지 예산에 맞춰 튜닝해야 한다. 팩 버전, 검증 결과, 검색 점수, 검증기 점수, 인용 문단을 질의별로 로그로 남기면 AI Act 기록·인간 감독, NIST AI RMF 측정·관리 요구에 대응할 증거를 로컬에서 만들 수 있다는 점도 실무적 시사점이다.

저자들이 밝힌 한계는 분명하다. 이 연구는 한 기기, 한 모델 계열, 영어 위키백과 기반 SQuAD 2.0, 조건당 100개 질문에 대한 예시적 평가이지 벤치마크가 아니다. 답불가 라벨은 전체 팩이 아니라 원문 문단 기준으로 정의돼 다른 문단에서 답이 있을 수 있고, 7개 문서에서 뽑은 100개 질문은 독립 주제 100개를 대표하지 않는다. 네트워크 격리는 물리적 에어갭이 아니라 네임스페이스로 구현했고, 서명 키도 실제 C3·C4 배포와 달리 기기에서 생성했다. 순차 실행과 서버 프롬프트 캐시, 웜업 없음, 온보드 전력 센서 기반 에너지 추정, 유휴 전력 미차감, 작은 CPU 친화 NLI 모델, 30개 표적과 템플릿 문단을 쓴 오염 실험도 일반화를 제한한다. 가장 중요한 주장은 평가한 어떤 메커니즘도 검색된 증거의 진실성을 확립하지 못한다는 것이다. 서명된 팩의 콘텐츠 신뢰는 서명 전 단계에서 해결해야 하고, 통합 벤치마크, 답 가능성 인식 검증, RAG 전용 업데이트 프로파일, 단절 환경의 최신성 관리가 남은 과제로 제시된다.