databend
무엇인가
Databend는 Rust로 구현된 컬럼형 SQL 분석 엔진이자 데이터 웨어하우스다. 별도 검색 엔진이나 벡터 DB를 덧붙이지 않고 하나의 엔진에서 대규모 분석, 벡터 유사도 검색, 전문 검색을 함께 처리하는 자리를 차지한다. 데이터는 자체 스토리지가 아니라 사용자의 S3 호환 오브젝트 스토리지에 놓인다.
어떻게 동작하나
Sandbox UDF는 세 계층으로 나뉜다. 컨트롤 플레인이 리소스 스케줄링, 권한 검증, 샌드박스 수명주기를 관리한다. 실행 플레인인 Databend가 SQL 오케스트레이션을 맡고 Arrow Flight로 요청을 내보낸다. 컴퓨트 플레인의 샌드박스 워커가 격리된 샌드박스 안에서 에이전트 로직을 돌린다. 스키마는 자동으로 진화하며, SQL 트랜잭션과 브랜칭이 운영 데이터 위에서의 실험을 받쳐준다.
무엇과 다른가
전형적인 구성에서는 분석용 웨어하우스, 벡터 DB, 전문 검색 엔진을 각각 세우고 데이터를 복제해 맞춘다. Databend는 이 셋을 단일 엔진으로 합치고 스토리지를 S3에 두어 컴퓨트와 스토리지를 분리한다. 에이전트 로직 실행을 별도 서비스로 떼어내지 않고 SQL에서 호출하는 UDF로 엔진 안에 넣은 점도 구조적으로 다르다.
어떻게 쓰나
Databend Cloud에서 무료로 시작하는 경로가 가장 빠르다. 로컬에서는 Python 3.12 또는 3.13과 databend-driver 0.34.0 이상으로 개발·테스트하고, Docker로 전체 웨어하우스를 띄우는 방법도 있다. 클라이언트는 Python 드라이버로 접속하며, 에이전트 로직은 SQL 문에서 Sandbox UDF 호출로 실행된다.
전제와 한계
로컬 Python 경로는 Python 3.12 또는 3.13과 databend-driver 0.34.0 이상을 전제로 한다. 저장 계층은 S3 호환 오브젝트 스토리지를 요구한다. 라이선스는 Apache 2.0과 Elastic 2.0이 함께 적용된다.
유사 도구
- helix-db그래프와 벡터를 한 엔진에 담은 Rust OLTP 데이터베이스다. 객체 스토리지 위에서 동작하며 벡터·전문 검색을 내장하고 KV·문서·관계형 데이터도 함께 다룬다.
- meilisearchRust로 작성된 검색 엔진 서버다. 전문 검색과 시맨틱 검색을 결합한 하이브리드 검색을 RESTful HTTP API로 제공한다.
- E2BAI가 생성한 코드를 클라우드의 격리된 샌드박스에서 실행하는 오픈소스 인프라다. Python·JavaScript SDK로 샌드박스를 띄우고 코드 실행과 데스크톱 제어를 위임한다.
- deer-flow샌드박스·메모리·서브에이전트·스킬을 묶어 수 분에서 수 시간 걸리는 작업을 수행하는 오픈소스 슈퍼 에이전트 하네스다.
- cognee에이전트에 세션을 넘어 지속되는 장기 기억을 붙이는 오픈소스 AI 메모리 플랫폼이다. 자체 호스팅 지식 그래프 엔진 위에서 동작한다.