ONEDEV

SkillLens

AI Coding ToolsskillTypeScript

★ 75조회 4

무엇인가

SkillLens는 에이전트가 SKILL.md 패키지의 품질을 정량 평가하도록 채점 규칙과 절차를 주입하는 메타 스킬 팩이다. 규율하는 대상은 코드 생성이 아니라 스킬 자체의 발행 준비도다. 명확성, 실제 수요, 상업적 가치, 차별성, 실행 비용, 안정성, 유지보수성을 5대 축(pillar) 100점 루브릭으로 환산하고, 각 항목의 근거와 등급, 상위 개선 항목을 함께 산출한다.

어떻게 동작하나

채점 기준의 단일 진실 공급원은 skills/skill-scorer/rubric/rubric.yaml이며, python3 skills/skill-scorer/scripts/sync_rubric_to_ts.py로 web/lib/rubric/rubric.ts에 미러링된다. 루브릭은 34개 하위 차원으로 구성되고 applies_to 필드로 스킬 구조에 따라 자동 활성·비활성된다. atomic은 25개, pipeline은 26개(파이프라인 전용 5개 포함), composite은 27개(composite 전용 4개 포함)가 켜진다. 평가 깊이는 두 단계다. 규칙 점수 미리보기는 pass/partial/fail/not_applicable을 결정론적으로 판정해 초 단위로 반환하고 LLM 할당량을 쓰지 않는다. SkillLens Deep Review는 그 위에서 주관적 차원만 LLM이 평가하며, 규칙 항목은 계속 공식 scorer가 결정한다. CLI의 --agent-wizard는 선택을 안내하고 deepReviewCertificate로 에이전트가 점수를 지어내지 못하게 검증한다.

무엇과 다른가

프롬프트를 직접 쓰거나 단일 규칙 파일을 두는 방식과 달리, 평가 기준이 코드와 분리된 YAML 루브릭으로 존재하고 Web UI와 CLI가 같은 루브릭을 공유한다. 스킬 구조를 atomic/pipeline/composite 세 형태로 구분해 서로 다른 하위 차원을 적용하므로, 문서형 단일 기준으로 파이프라인이나 도구집합을 오판하지 않는다. pipeline은 라우팅 설계, 하위 에이전트 경계, IO 프로토콜을, composite는 도구 색인, 직교성, 일관성을 본다. 금융 전문가 버전은 skills/skill-scorer/domains/finance/rubric.yaml을 근거로 일반 100점과 별개인 domainExpert 점수, 위험 등급, 상업적 성숙도를 추가 산출한다.

어떻게 쓰나

Web UI는 cd web && npm install && cp .env.example .env.local && npm run dev 후 http://localhost:3000에서 연다. SKILL.md, 스킬 폴더, .zip을 끌어다 놓으면 보고서가 생성된다. 모델 키를 채우지 않으면 mock 점수로 미리보기 모드가 돌고, DEEPSEEK_API_KEY 또는 ANTHROPIC_API_KEY 중 하나를 넣으면 Deep Review가 활성화된다. 공개 배포 시에는 LLM_REQUIRE_BROWSER_REQUEST=1로 /api/llm 직접 호출을 막고, 서버 간 호출에는 LLM_ACCESS_TOKEN을 둔다. CLI는 키 없이 규칙 점수 미리보기를 실행하며, 기본 출력은 stdout JSON이고 --output-dir를 주면 -report.json, -report.html, -report.md 세 산출물이 떨어진다. --llm-language {auto,zh,en}로 LLM 응답 언어를 강제할 수 있다.

전제와 한계

Claude, OpenClaw, Cursor 세 생태계의 frontmatter와 디렉터리 규약을 파싱하며, 루트에 SKILL.md가 있고 name과 description frontmatter가 있으면 채점이 돈다. pipeline은 하위 SKILL.md가 1개 이상이면 자동 인식되지만, composite는 CLI의 --skill-type composite 또는 Web 업로더의 Composite 카드를 명시해야 한다. Web UI는 GitHub URL을 직접 가져오지 못하므로 에이전트가 먼저 clone해 로컬 경로로 넘겨야 한다. 모델 키가 없으면 실제 Deep Review와 금융 전문가 평가는 수행되지 않고 mock 미리보기에 머문다.

유사 도구