skill-conductor
무엇인가
Skill Conductor는 스킬 자체를 만들고 평가하고 고치는 메타 스킬이다. 규율 대상은 코드가 아니라 스킬 문서의 작성 절차이며, design → build → test → evaluate → package 5단계 생명주기를 강제한다. SKILL.md를 쓰기 전에 아키텍처(패턴)를 먼저 확정하게 하고, 이후의 모든 편집을 평가 결과에 묶는다.
어떻게 동작하나
SKILL.md가 진입점이고, references/ 아래 sop-practices.md(작성 원칙 캐논), pressure-testing.md(압박 테스트 프로토콜), patterns.md, schemas.md가 규칙 본문을 담는다. scripts/에는 eval_skill.py(구조 검사를 이진 질문 레코드로 출력), split_evals.py(train/held-out 결정론적 분할), run_loop.py(Mode 5 OPTIMIZE), package_skill.py, test_smoke.py가 있다. 평가는 grader·comparator·bineval 세 에이전트가 맡고, 각 에이전트는 1/0 판정을 확정하기 전에 근거 비평을 먼저 작성한다. 발동은 Claude Code 플러그인 설치 또는 슬래시 명령으로 한다.
무엇과 다른가
SKILL.md를 직접 쓰는 방식과 달리, 5축 1-10 점수 대신 5개 차원(Discovery, Clarity, Structure, Robustness, Completeness)의 원자적 예/아니오 질문으로 채점하고 통과 기준을 점수가 아닌 critical 질문 게이트로 둔다. BinEval 판정자는 전체 점수와 GATE를 계산하지 않으며(threshold-blind), 오케스트레이터가 집계한다. 다른 모델 패밀리의 두 번째 판정자가 같은 문항 은행을 풀어 안정적으로 갈리는 문항을 표현 결함으로 표시하고, 최종 수용에는 자기선호 편향 가드를 건다.
어떻게 쓰나
설치는 npx skills add smixs/skill-conductor로 ~/.claude/skills에 넣거나, /plugin marketplace add smixs/skill-conductor 후 /plugin install skill-conductor@smixs를 실행한다. 첫 사용은 대상 스킬의 아키텍처 선택에서 시작한다. Mode 2 IMPROVE는 train 분할에서만 교훈을 뽑아 회당 최대 3개의 원자적 편집을 적용하고, held-out 단언이 하나라도 퇴행하거나 새 critical 실패가 생기면 후보를 거부한다.
전제와 한계
Claude Code 플러그인으로 배포된다. 스크립트 실행에는 uv가 필요하고, 교차 패밀리 판정 보정에는 다른 모델 패밀리(예: codex 경유 GPT)가 있어야 한다. 비critical 문항의 개선은 2회 연속 실행에서 재현될 때만 인정되고 반복 상한은 3회다. Codex·Cursor·Copilot용 설치 채널은 README에 없다.