로컬 LLM 속도를 하드웨어 구매 전에 체감하는 시뮬레이터 llmspeed 공개

로컬 LLM을 직접 돌리려는 개발자가 장비를 사기 전에 어느 정도 속도가 나올지 미리 체감해볼 수 있는 시뮬레이터가 나왔다. 이름은 llmspeed이며, GitHub에 오픈소스로 공개돼 있다. 브라우저에서 JavaScript로 동작하는 도구라 별도 설치 없이 접속해 확인하는 방식이다.

이 도구가 보여주는 것은 단일 기기에서 짧은 프롬프트를 처리할 때의 추정 속도다. 화면에는 AMD Ryzen AI Max+ 395 128GB(Strix Halo) 구성과, GPU 없이 CPU만 쓰는 Ryzen 9 9950X + 96GB DDR5 구성 같은 사례가 등장한다. 사용자는 이런 구성들 사이에서 자기 환경에 가까운 값을 골라 참고할 수 있다.

숫자의 성격은 두 갈래로 나뉜다. 일부는 r/LocalLLaMA나 localscore.ai 같은 커뮤니티 벤치마크에서 가져온 실측값이고, 나머지는 비슷한 구성에서 유추하거나 하드웨어 스펙으로부터 투영해 낸 값이다. 즉 모든 수치가 동일한 신뢰도를 갖는 것은 아니라는 뜻이다.

배경에는 로컬 추론 환경을 둘러싼 선택의 어려움이 있다. 같은 모델이라도 메모리 대역폭, 양자화 방식, 백엔드에 따라 체감 속도가 크게 갈리는데, 시중에 돌아다니는 벤치마크 표는 정작 내가 맞추려는 구성과 조건이 어긋나는 경우가 많다. 모델을 바꾸지 않고도 장비 조합만으로 체감이 달라진다는 점이 구매 결정을 어렵게 만든다.

개발자 입장에서 이 도구의 쓸모는 구매 전 시뮬레이션이다. 노트북 한 대, 혹은 데스크톱 부품 구성표를 확정하기 전에 대략적인 토큰 생성 속도를 가늠해 보고, 감당할 수 있는 수준인지 판단하는 용도로 쓸 수 있다. 특히 대용량 통합 메모리를 쓰는 미니 PC 계열과 순수 CPU 구성처럼 GPU를 끼우지 않는 선택지를 비교할 때 참고 자료가 된다.

다만 이 값들은 어디까지나 추정치다. 실제 측정이 아닌 유추·투영이 섞여 있고, 기준도 짧은 프롬프트를 단일 기기에서 처리하는 상황으로 한정된다. 긴 컨텍스트나 동시 요청, 배치 처리처럼 실무에서 자주 마주치는 조건은 이 숫자만으로 판단하기 어렵다. 구매 직전의 최종 확인은 실제 사용 후기나 직접 측정으로 하는 편이 안전하다.