AI应用开发圈最近有个明显转向:向量搜索正在离开独立数据库服务器,回到应用进程内部。
RAG检索、语义搜索、Agent长期记忆,这些功能的标配方案曾经是Pinecone、Milvus、Qdrant这类专用向量数据库。开发者要起一个服务、维护一份索引、处理网络延迟和数据同步。2025年9月底,SQLite Cloud团队发布SQLite-Vector扩展,在Hacker News上拿下173个热度点,56条评论吵成一团。争论的核心很明确:本地嵌入式向量搜索,到底能不能替代重型方案?
SQLite-Vector把向量塞进普通表
SQLite-Vector的思路和主流向量数据库完全不同。向量数据直接以BLOB形式存在普通SQLite表里,Float32、Float16、BFloat16、Int8、UInt8、1-bit六种格式都支持,不依赖虚拟表这种特殊结构。
查询写法就是标准SQL。一条JOIN语句调vector_quantize_scan函数,返回最近邻结果和距离值。团队为距离计算写了优化的C实现,有SIMD指令的平台会自动启用硬件加速。
性能定位瞄准边缘场景:默认内存占用30MB,不需要预先构建索引。官方给出的适用范围覆盖iOS、Android、Windows、Linux和macOS,同时提供WASM、Swift、Android、Python多套绑定。手机上的离线语义搜索、桌面端的文档RAG、嵌入式设备的Agent记忆,这些场景里部署一台向量服务器既浪费又不可靠,一个扩展文件就能解决。
开源阵营的回应:sqlite-vec与Turso
SQLite-Vector挂出来,评论区第一个问题就是许可证。知名开发者Simon Willison明确指出,这个项目是source-available而非开源,官方”对开源项目免费”的说法有坑:开源项目集成后无法继续用自己的许可证再发布,因为SQLite是作为库被编译进二进制的。
开源阵营这边,Alex Garcia的sqlite-vec是双许可证(Apache 2.0和MIT),纯C编写、无依赖,单文件虚拟表实现KNN搜索,从服务器到浏览器WASM都能跑。它接替的是同作者的sqlite-vss项目,目前仍是活跃度最高的开源选择。
Turso走得更远。这家公司用Rust从零重写了整个SQLite,兼容原有SQL方言、文件格式和C API,原生内置向量搜索、MVCC并发写入、异步I/O,还提供MCP服务器模式供AI Agent直接调用。项目在GitHub收获超过20000颗星、253位贡献者,最新版本v0.6.1仍处beta阶段。他们的口号是”给每个Agent一个自己的数据库”——Engine Labs等团队已经开始用Turso作为多Agent系统的状态隔离层。
Python开发者怎么选
三条路线对应三种需求:
- 原型验证、单机工具、本地RAG:sqlite-vec最合适,纯开源许可证没有法律负担,pip安装即用,百万级向量规模完全够用。
- 商业移动端应用、需要厂商支持:SQLite-Vector的量化扫描和SIMD优化更省内存,闭源许可证按商业条款付费即可。
- 追求现代异步架构、给Agent造基础设施:Turso的Rust实现值得押注,但要接受beta阶段的风险。
实测建议从sqlite-vec起步。一段Python代码十行以内:
“`python
import sqlite_vec
db = sqlite3.connect(“app.db”)
db.enable_load_extension(True)
sqlite_vec.load(db)
db.execute(“””CREATE VIRTUAL TABLE docs USING vec0(
id INTEGER PRIMARY KEY, embedding FLOAT[384])”””)
rows = db.execute(“””SELECT id, distance FROM docs
WHERE embedding MATCH ? ORDER BY distance LIMIT 10″””,
(query_vec,)).fetchall()
“`
嵌入模型选384维的小模型(如BGE-small或all-MiniLM-L6-v2),10万条文档的检索延迟在几十毫秒级别,笔记本上就能跑。
重型方案没有被淘汰
需要说清楚边界:千万级以上向量、多租户、高并发在线服务,Pinecone、Milvus、Qdrant依然是正确答案,它们的ANN索引(HNSW、IVF)在超大规模下没有替代品。混合检索、元数据过滤、分布式扩展这些企业级需求,嵌入式方案也不擅长。
趋势的另一面是明确的。DuckDB、Kùzu、LanceDB等嵌入式数据库都在加向量能力,SQLite官方生态里向量搜索已经从”要不要做”变成”哪家做得好”。Gartner的调研显示AI编码工具让研发团队效率提升30%~50%,支撑这些效率的检索基础设施,正在从云端机房向用户设备迁移。
一个SQLite文件、30MB内存、没有网络调用。这个组合撑起的语义搜索,正在重新定义AI应用的数据层下限。
苏公网安备32010502011527号
发表回复