向量数据库选型

为什么需要专用向量数据库

既然向量只是数组，能不能直接存在 PostgreSQL 或 Redis 里？理论上可以，但向量检索的核心需求是近似最近邻搜索（ANN，Approximate Nearest Neighbor），这是一个高度特殊的计算问题：

• 暴力搜索（Brute-Force）：对每个查询向量遍历所有存储向量计算相似度。百万级以下凑合，千万级以上延迟无法接受
• 传统 B-Tree 索引对高维向量完全无效——维度诅咒使得空间分割失去意义
• 专用向量数据库内置 HNSW、IVF 等 ANN 算法，可以在精度和速度之间取得最佳平衡

HNSW 索引原理详解

HNSW（2016 年 Yury Malkov 提出）是目前最广泛使用的 ANN 算法。它的核心思想借鉴了跳表（Skip List）和"六度分隔理论"：

• 分层结构：图分多层，高层稀疏（长程连接），低层密集（精细搜索）
• 贪心导航：从高层入口节点出发，贪心地向目标移动，逐层下降直到最底层
• 小世界特性：任意两点之间通过很少的跳数可达，保证搜索效率

Layer 2 (最稀疏):   A ───────────────── B
                    |                   |
Layer 1 (中间层):   A ──── C ─── D ─── B
                    |      |     |      |
Layer 0 (最密集):   A─B─C─D─E─F─G─H─I─J─B
                         ↑ 查询向量最近邻

HNSW 的两个关键超参数：

• M：每个节点的最大连接数，越大精度越高但内存越多（通常 16–64）
• ef_construction：索引构建时的搜索宽度，越大精度越高但构建越慢（通常 100–500）
• ef_search：查询时的搜索宽度，可动态调整以权衡精度和速度

主流向量数据库横向对比

深入了解各数据库

Qdrant：生产环境首选

用 Rust 编写，以性能、可靠性和丰富功能著称。是 2024-2025 年 RAG 生产项目中使用率最高的向量数据库。

Chroma：原型开发神器

纯 Python 实现，嵌入式运行（无需独立服务器），与 LangChain/LlamaIndex 深度集成。

# pip install chromadb
import chromadb

# 内嵌模式：数据存本地文件
client = chromadb.PersistentClient(path="./chroma_db")

# 创建 Collection（类似向量库的表）
collection = client.get_or_create_collection(
    name="knowledge_base",
    metadata={"hnsw:space": "cosine"}  # 余弦相似度
)

# 添加文档（Chroma 可以自动调用 Embedding）
collection.add(
    documents=["RAG 的完整流程包括检索和生成", "向量数据库存储高维向量"],
    ids=["doc_1", "doc_2"],
    metadatas=[{"source": "ch1"}, {"source": "ch4"}]
)

# 查询
results = collection.query(
    query_texts=["RAG 怎么运作？"],
    n_results=2
)
print(results['documents'])

Pinecone：全托管无运维

完全托管的向量数据库服务，Serverless 模式下按使用量计费，适合快速上线的创业项目。

• 免运维：不需要配置、扩容、备份
• Serverless：索引存储和计算分离，低频使用成本极低
• 命名空间（Namespace）：天然支持多租户
• 缺点：数据托管在美国服务器，数据合规要求高的场景不适用

Milvus：超大规模向量检索

专为十亿级向量设计的分布式向量数据库，支持 GPU 加速，是目前开源中规模最大的向量数据库系统。

选型决策树

开始选型
    │
    ├─ 只需快速原型？ → Chroma（内嵌，零配置）
    │
    ├─ 不想运维，接受数据在云端？ → Pinecone Serverless
    │
    ├─ 数据必须自托管（合规要求）？
    │       │
    │       ├─ 规模 < 1000万向量 → Qdrant（推荐）
    │       │
    │       ├─ 规模 1000万~10亿 → Qdrant 集群 或 Milvus
    │       │
    │       └─ 规模 > 10亿 → Milvus + GPU
    │
    ├─ 已有 PostgreSQL，不想引入新组件？ → pgvector
    │
    └─ 需要 GraphQL + 多模态 → Weaviate

关键性能指标对比

以下数据来自 ANN Benchmarks（ann-benchmarks.com），测试集：SIFT-1M（100万 128维浮点向量）：