ONEDEV

Skill_Seekers

Web Scraping & CrawlingskillPython

★ 14,979주당 +53조회 4

무엇인가

Skill Seekers는 외부 소스를 AI 에이전트가 따르는 지식 자산으로 바꾸는 CLI 도구다. 규율하는 영역은 "에이전트에 주입할 규칙과 지식을 어느 소스에서 어떻게 추출해 어떤 파일 형식으로 고정할 것인가"이다. 문서 사이트, GitHub 저장소, 로컬 코드베이스, PDF·Word·EPUB, Jupyter 노트북, OpenAPI 스펙, PowerPoint, AsciiDoc, HTML, RSS, man page, 영상, Confluence·Notion·Slack 내보내기까지 18종을 입력으로 받는다.

어떻게 동작하나

동작은 수집과 패키징이 분리된 파이프라인이다. `skill-seekers create <소스>`가 `output/<이름>/` 아래에 스크래핑 결과와 예제·패턴·가이드를 담은 SKILL.md를 생성하고, `skill-seekers package output/<이름> --target claude`가 이를 ZIP + YAML 형태의 Claude Skill로 묶는다. 여러 소스를 하나의 자산으로 합칠 때 발생하는 내용 충돌은 자동 검출된다. `scan` 하위 명령은 프로젝트의 매니페스트·README·Dockerfile/CI·소스 import를 읽어 감지된 프레임워크마다 설정 파일 하나와 코드베이스용 `-codebase.json`을 만든다.

무엇과 다른가

프롬프트를 직접 작성하거나 단일 규칙 파일을 손으로 유지하는 방식과 달리, 수집·정규화·패키징 단계를 분리하고 결과물을 대상별로 재포장한다. 한 번 준비한 자산을 LLM 플랫폼 12종(claude, gemini, openai, kimi, qwen 등), RAG·벡터 8종(langchain, llama-index, chroma, faiss, pinecone 등), 기타 2종(atlas, ibm-bob)으로 내보내므로 대상이 바뀔 때마다 다시 스크래핑하지 않는다. RAG용 청킹은 코드 블록과 문맥을 보존하는 방식으로 수행된다.

어떻게 쓰나

설치는 `pip install skill-seekers`이며, LLM 플랫폼 전체는 `[all-llms]`, MCP 서버는 `[mcp]`, 전부는 `[all]` 추가 설치로 붙는다. 무엇을 설치할지 모르면 `skill-seekers-setup` 마법사를 실행한다. 첫 사용은 `skill-seekers create https://docs.djangoproject.com/` → `skill-seekers package output/django --target claude` 순서이며, 지식 자산을 강화할 에이전트는 `--agent kimi` 또는 `--agent-cmd "my-custom-agent run"`으로 교체한다.

전제와 한계

전제는 Python 3.10+와 Git이다. 영상 소스는 `skill-seekers[video]` 계열 추가 설치가 필요하고, 시각 의존성은 `skill-seekers create --setup`이 GPU를 감지해 맞는 PyTorch 변형과 easyocr을 설치한다. 강화에 쓰는 기본 에이전트는 claude다. 출력 형식은 Claude Skill ZIP이 기본이지만 대상별 지원 범위는 플랫폼마다 다르므로 Feature Matrix를 확인해야 하며, 스크래핑 결과의 품질과 범위는 대상 사이트의 접근 정책과 마크업 상태에 종속된다.

관련 논문 3

유사 도구