FastGPT
무엇인가
FastGPT는 LLM 기반 질의응답 시스템을 조립해 자체 호스팅하는 플랫폼이다. RAG 파이프라인과 에이전트 워크플로를 코드가 아니라 설정과 시각적 편집으로 구성하는 계열에 속한다. 문서 처리, 검색, 모델 호출을 하나의 서비스로 묶어 배포하는 자리를 차지한다.
어떻게 동작하나
동작은 두 축으로 나뉜다. 데이터 축에서는 업로드한 문서를 청크로 나누고 임베딩해 검색 인덱스에 저장한다. 질의 축에서는 사용자 질문을 같은 방식으로 임베딩해 유사도 검색으로 관련 청크를 뽑고, 이를 컨텍스트로 조립해 LLM에 넘긴다. 이 흐름은 Flow 편집기에서 노드 그래프로 배치되며, 검색·모델 호출·조건 분기 노드를 연결해 실행 순서를 정한다. 모델 호출은 AI Proxy를 통해 여러 제공자를 묶어 부하 분산하는 구성이 가능하고, 외부 연동은 OpenAPI 문서로 노출된다.
무엇과 다른가
LangChain이나 LlamaIndex처럼 RAG를 코드로 조립하는 프레임워크와 달리, FastGPT는 데이터 처리 파이프라인과 편집기를 제품 형태로 미리 갖춰 둔다. 채팅 UI만 제공하는 도구와도 다르다. 인덱스 구축과 워크플로 실행이 같은 서비스 안에 있고, FastGPT-plugin으로 노드를 확장한다. 배포 단위는 Docker 컨테이너 묶음이며 Sealos로 클러스터에 올리는 경로도 안내된다.
어떻게 쓰나
Docker로 기동한다. README의 빠른 시작은 설정 파일을 내려받는 스크립트를 실행하는 한 줄로 시작하고, 이후 안내에 따라 값을 입력한다. 기동 후에는 모델 제공자를 연결하고 지식베이스를 만든 뒤 Flow를 편집해 애플리케이션을 발행한다. 로컬 개발 경로와 OpenAPI 문서, FastGPT-plugin이 별도 항목으로 안내된다.
전제와 한계
라이선스는 FastGPT Open Source License다. 백엔드 서비스로 상용하는 것은 허용되지만 SaaS로 제공하는 것은 허용되지 않는다. 상용 서비스는 저작권 표기를 유지해야 하며, 별도 상용 라이선스는 [email protected]로 문의한다. 코드베이스는 TypeScript이고, 모델 호출을 위해서는 외부 LLM 제공자 연결이 전제된다.
관련 논문 5
유사 도구
- difyLLM 애플리케이션을 워크플로·RAG·에이전트·모델 관리·관측까지 한 워크스페이스에서 만들고, 클라우드나 셀프호스팅으로 배포하는 오픈소스 플랫폼이다.
- ragflow비정형 문서를 파싱·청킹해 검색 증강 생성 파이프라인과 에이전트 워크플로를 한 엔진에서 돌리는 오픈소스 RAG 서버다.
- Langchain-ChatchatLangChain 위에 지식베이스 검색과 Agent를 얹어 오픈소스 LLM만으로 오프라인 질의응답을 구성하는 Python 애플리케이션이다.
- MaxKBRAG 파이프라인과 워크플로 엔진, MCP 도구 호출을 묶어 기업용 에이전트를 만드는 Python/Django 오픈소스 플랫폼이다.
- onyxLLM 애플리케이션 계층으로, RAG·웹 검색·코드 실행·에이전트를 갖춘 셀프호스팅 AI 채팅 플랫폼이다. 50개 이상 커넥터로 사내 데이터를 색인한다.
- WeKnora원시 문서를 수집해 검색 가능한 RAG 지식베이스와 자율 추론 에이전트, 자체 유지 위키로 바꾸는 Go 기반 자체 호스팅 LLM 지식 플랫폼이다.