AI 코딩 도구·툴 모음 코딩 에이전트·MCP·벡터DB·추론 도구
langchain4j
JVM에서 LLM 애플리케이션을 만드는 Java 라이브러리다. 여러 LLM 제공자와 임베딩 스토어를 단일 API로 묶고 툴 호출·에이전트·RAG를 구현한다.
stable-diffusion-webui
Stable Diffusion 체크포인트를 Gradio 웹 화면에서 실행하는 Python 프론트엔드다. txt2img·img2img·인페인팅·업스케일·임베딩 학습을 탭 UI로 묶는다.
onlook
Next.js + TailwindCSS 프로젝트를 브라우저에서 시각적으로 편집하고 AI 채팅으로 코드를 고치는 오픈소스 디자인 에디터다.
Soul-of-Waifu
Live2D/VRM 아바타와 음성 대화, RPG 엔진, 데스크톱 자율 에이전트를 하나의 캐릭터 정체성으로 묶는 로컬 우선 Python 데스크톱 앱이다.
flashinfer
LLM 서빙용 고성능 GPU 커널 라이브러리이자 커널 생성기다. attention·GEMM·MoE를 하나의 API로 묶고 하드웨어와 워크로드에 맞는 백엔드를 자동 선택한다.
openmed
임상 텍스트에서 의료 개체명과 HIPAA PII를 온디바이스에서 추출·비식별화하는 로컬 우선 Python 런타임이다. 클라우드 전송 없이 MLX·ONNX 백엔드로 실행한다.
Tracely-ai
에이전트 트레이스를 OTLP로 수집해 실패를 클러스터링하고, 실패한 실행을 회귀 테스트로 고정해 PR을 차단하는 CI/CD 도구다.
gawkbot
자연어 한 문장으로 업무 워크플로를 로컬 AI 봇과 마이크로앱으로 만들어 주는 Go 기반 CLI다. 외부로 나가는 모든 동작에 사람 승인 게이트를 둔다.
chroma
임베딩과 메타데이터를 저장하고 벡터·전문·하이브리드 검색을 제공하는 오픈소스 AI 검색 인프라다. Rust 코어와 Python·JS 클라이언트로 동작한다.
milvus
Go와 C++로 작성된 분산 벡터 데이터베이스다. 컴퓨트와 스토리지를 분리해 수십억 벡터에서 ANN 검색을 수평 확장한다.
plandex
터미널에서 대규모 코딩 작업을 계획하고 실행하는 Go 기반 AI 에이전트다. 누적 diff 샌드박스로 변경을 프로젝트 파일과 분리해 검토·롤백한다.
evalscope
LLM·VLM·임베딩·AIGC 모델의 벤치마크 평가와 추론 성능 스트레스 테스트를 명령 하나로 실행하고 웹 대시보드로 시각화하는 Python 프레임워크다.
Codewhale
터미널에서 프로젝트를 읽고 파일을 고치고 명령을 실행하는 Rust 기반 코딩 에이전트다. 호스티드·로컬 모델을 골라 붙인다.
trpc-agent-go
Go로 프로덕션 에이전트 시스템을 만드는 프레임워크다. 그래프 워크플로, 도구 호출, 메모리, A2A·AG-UI·MCP 연동, 평가, OpenTelemetry 관측성을 한 스택에 담는다.
destructive_command_guard
AI 코딩 에이전트가 실행하려는 git·셸 명령을 실행 전에 가로채 파괴적 명령을 차단하는 Rust 훅 바이너리다. 여러 에이전트의 훅 설정에 등록돼 동작한다.
giskard-oss
LLM 에이전트의 평가와 레드팀 스캔을 한 저장소에서 다루는 Python 라이브러리다. v3는 의존성을 쪼갠 모듈 패키지와 비동기 다중 턴 시나리오를 기반으로 한다.
quivr
RAG 파이프라인을 YAML 워크플로로 정의해 LLM 앱에 붙이는 Python 라이브러리다. LLM·벡터스토어·파서를 교체할 수 있다.
NextChat
NextChat은 브라우저와 데스크톱에서 여러 LLM과 대화하는 TypeScript 채팅 UI다. 대화 기록을 로컬에 두고 Vercel 1분 배포를 지원한다.
cactus
모바일·웨어러블에서 LLM·VLM·음성 모델을 실행하는 C++ 추론 엔진이자 CLI다. 양자화 커널과 런타임을 함께 포함한다.
DeepAudit
코드 저장소를 여러 AI 에이전트가 협업해 감사하고, Docker 샌드박스에서 PoC를 실행해 취약점을 검증하는 자체 호스팅 보안 감사 플랫폼이다.
haystack
검색·라우팅·메모리·생성을 명시적 파이프라인과 에이전트 워크플로로 조립하는 Python LLM 오케스트레이션 프레임워크다.
server
MySQL에서 갈라져 나온 GPLv2 관계형 SQL 서버다. 플러그형 스토리지 엔진, Galera 동기 클러스터링, 네이티브 벡터 검색을 서버에 내장한다.
FastGPT
LLM 위에 지식베이스 RAG 검색과 시각적 워크플로 편집을 얹어 질의응답 시스템을 구성하는 TypeScript 플랫폼이다.
code2prompt
코드베이스를 소스 트리와 함께 하나의 LLM 프롬프트로 렌더링하는 Rust CLI다. glob 필터와 Handlebars 템플릿, 토큰 추정을 쓴다.
gpustack
GPU 클러스터에서 vLLM·SGLang 같은 추론 엔진을 자동 구성하고 모델을 배포하는 관리자다. 요청 시 SSH 접속 가능한 GPU 인스턴스를 띄운다.
vllm-mlx
Apple Silicon에서 MLX로 LLM을 구동하며 OpenAI와 Anthropic API를 한 프로세스에서 제공하는 추론 서버다. continuous batching과 paged KV 캐시를 갖췄다.
daytona
AI가 생성한 코드를 격리된 샌드박스에서 실행하는 보안·탄력 인프라다. OCI/Docker 호환 환경을 90ms 안에 띄우고 SDK·API·CLI로 제어한다.
helicone
OpenAI 호환 baseURL 한 줄만 바꾸면 요청 로그·비용·지연을 수집하는 LLM 관측 프록시이자 100개 이상 모델을 중계하는 AI 게이트웨이다.
aichat
20개 이상 LLM 제공자를 하나의 인터페이스로 묶어 셸 명령 변환, REPL 대화, RAG, 함수 호출을 한 바이너리에서 처리하는 Rust CLI다.
ChatTTS
LLM 어시스턴트 대화 장면을 겨냥해 중국어·영어 음성을 합성하는 자기회귀 TTS 모델이다. 웃음·쉼·감탄사를 토큰 단위로 제어한다.