에이전트가 문서에서 막히는 지점을 Gauge가 찾아 반복 개선한다

Hacker News2026-11-05조회 1

Gauge는 코딩 에이전트가 자신의 제품을 얼마나 잘 찾아 쓰는지를 측정하고 개선하는 작업을 터미널 안에서 돌리는 오픈소스 CLI다. 대상은 스킬, CLI, SDK, MCP 서버, API, 그리고 문서다. 실제 에이전트를 제품에 붙여 과제를 수행시키고, 어디서 헤매는지 기록을 모은 뒤, 그 기록을 자신의 코딩 에이전트에게 읽혀 수정안을 만들고 배포 전에 다시 검증하는 순환을 지향한다.

가장 눈에 띄는 부분은 실행 방식이다. Gauge는 CLI 릴리스에 고정된 도커 이미지를 내려받아 쓰고, 로컬 모드에서는 매번 새 컨테이너 세션을 띄워 작업 트리에 있는 입력 파일을 그대로 주입한다. 테스트 대상 에이전트로는 Claude Code, Codex, Pi, OpenCode를 지원하며, 각 도구의 네이티브 로그인이나 API 키를 그대로 쓸 수 있다. 사용량 요금은 Gauge가 아니라 각자의 구독이나 프로바이더 계정으로 청구되고, Gauge 자체 계정은 필요 없다.

시작에는 Node.js 22.13 이상과 npm, 리눅스 컨테이너를 돌릴 수 있는 Docker가 필요하다. 프로젝트 디렉터리에서 초기화를 실행하면 SQLite 데이터베이스와 로컬 백엔드 설정이 담긴 비공개 `.gauge/` 워크스페이스가 만들어진다. 이때 추적 중인 파일은 건드리지 않는다. 공유 가능한 마크다운 케이스까지 함께 만들고 싶다면 별도 옵션을 붙이는데, 이 경우 `gauge.json` 매니페스트와 `gauge-cases/` 디렉터리, `AGENTS.md` 안내 문구가 생성되므로 이 파일들은 저장소에 커밋하고 `.gauge/`는 비공개로 남겨 두는 구성이 권장된다.

측정 단위는 크게 두 가지다. 하나는 안정적인 식별자와 편집 가능한 기본값, 관찰 가능한 결과를 갖춘 eval 또는 선호도(preference) 프롬프트이고, 다른 하나는 공유나 CI 실행을 염두에 두고 완전히 명세를 적어 둔 마크다운 케이스다. 로컬 모드는 스킬, SDK, CLI, 파일 입력을 다루며, npm으로 배포하는 CLI나 SDK라면 미리 tarball을 빌드해 두어야 한다. Gauge가 이 프리릴리스 산출물을 테스트 세션에 설치하기 때문에, 정식 배포 전에 수정 효과를 확인할 수 있다.

원문이 든 예시는 릴리스 노트 작성 스킬이다. 스킬 디렉터리에 `SKILL.md`를 두고 `gauge eval create`로 과제와 판정 기준을 등록한 다음, `gauge run --eval <id> --local --input <이름> --dry-run`으로 에이전트를 띄우지 않고 준비 상태만 미리 확인한다. 실제 실행 뒤에는 `gauge instructions session-analysis --local` 절차로 세션을 읽고 기준 충족 여부와 마찰 지점을 정리한다. 스킬을 고친 뒤 같은 eval ID로 다시 돌리면 기존 배치 기록은 그대로 남고 새 배치가 현재 입력 파일을 스냅샷한다. 이후 `gauge run compare`로 두 배치를 나란히 놓고 완료 여부, 소요 턴, 판정 결과를 비교한다.

이 도구가 겨냥하는 문제는 꽤 구체적이다. 대화형 명령이 에이전트를 붙잡아 두거나, 에이전트가 폐기된 명령과 낡은 API 패턴을 집어 들거나, 도움이 되어야 할 스킬이 있는데도 쓰이지 않거나, 존재하지 않는 제한을 자신 있게 단정하거나, 여러 명령에 걸친 원래 워크플로를 파악하지 못하는 상황이다. 해법이 에러 메시지일 수도, 스킬 본문일 수도, 도움말 텍스트나 코드, 문서일 수도 있기 때문에 Gauge는 실행과 증거 수집만 맡고, 무엇을 고칠지는 사용자의 코딩 에이전트가 로컬 결과를 보고 판단하게 한다.

실행 위치에 따라 지원 범위가 갈린다. 로컬 실행은 스킬, SDK, CLI, 파일 입력까지이며 평가·분석·수정·재검증의 전체 루프를 로컬에서 완결할 수 있다. 문서와 인증이 필요한 MCP, 인증이 필요한 API까지 다루려면 호스팅 컴퓨트가 필요하고, 이 모드에서는 세션이 끝난 뒤 분석이 자동으로 이뤄진다. 원문은 호스팅 플랫폼 설명이 중간에 끊겨 있어 그 세부 동작까지 확인하기는 어렵다.

실무적으로 달라지는 지점은 문서 품질을 감으로 다루지 않게 된다는 것이다. 스킬이 과제 수행에 실제로 쓰였는지, 즉 발견까지 이뤄졌는지를 세션 기록으로 확인할 수 있고, 판정 기준을 마크다운 케이스로 고정해 두면 CI 파이프라인에서도 같은 측정을 반복할 수 있다. 모델과 과제, 판정 기준을 고정한 채 비교해야 의미가 있으므로, 변경 사항을 한 번에 하나씩 적용하는 운용이 전제된다.

주의할 점도 분명하다. 로컬 실행에는 도커 리눅스 컨테이너와 Node.js 22.13 이상이 필요하고, 테스트할 에이전트의 자격증명을 준비해야 하며, 에이전트 사용료는 전적으로 각자의 구독이나 API 키로 나간다. 드라이런과 검증 단계는 설정과 자격증명 준비 상태만 확인할 뿐 에이전트를 실행하지 않으므로, 실제 마찰은 실행 배치를 돌려야 드러난다.