多向量索引:Qdrant、Vespa、Weaviate

问题规模

需要两件事:

1. 物理存储能放下 10 亿 128 维向量且支持随机访问
2. 打分过程在高维空间做 MaxSim 近似(两阶段检索)

方案一:Qdrant Multivector

Qdrant 1.10+ 原生支持 multivector——每条 record 存一个矩阵,查询给一个矩阵,引擎自动做 MaxSim。

from qdrant_client import QdrantClient
from qdrant_client.models import VectorParams, Distance, MultiVectorConfig, MultiVectorComparator

client = QdrantClient("localhost", port=6333)

client.create_collection(
    "colpali-pages",
    vectors_config=VectorParams(
        size=128,
        distance=Distance.COSINE,
        multivector_config=MultiVectorConfig(
            comparator=MultiVectorComparator.MAX_SIM,
        ),
    ),
)

# 写入(每页 1024 个向量作为一个 record)
client.upsert(
    "colpali-pages",
    points=[
        PointStruct(
            id=i,
            vector=page_vecs[i].cpu().float().numpy(),  # (1024, 128)
            payload={"doc": doc_id, "page": page_num, "image": image_b64},
        ) for i in range(N)
    ],
)

# 查询
results = client.query_points(
    "colpali-pages",
    query=q_vecs.squeeze().cpu().float().numpy(),   # (n_tokens, 128)
    limit=5,
).points

方案二:Vespa Tensor + ColBERT ranking

Vespa 是老牌搜索引擎(Yahoo 出品),ColBERT 论文作者原班人马给它做了 ColPali 集成。优点是内置两阶段检索:粗筛 + MaxSim 精排。

<!-- schemas/page.sd -->
schema page {
  document page {
    field embedding type tensor<bfloat16>(patch{}, v[128]) {
      indexing: attribute
    }
    field quant_emb type tensor<int8>(patch{}, v[16]) {
      indexing: attribute | index
    }
  }
  rank-profile colpali {
    inputs {
      query(qt) tensor<float>(querytoken{}, v[128])
    }
    first-phase {
      expression: // 粗筛:binary HNSW
        max(unpack_bits(attribute(quant_emb)) * query(qt))
    }
    second-phase {
      expression: // 精排:full MaxSim
        sum(reduce(sum(query(qt) * attribute(embedding), v), max, patch), querytoken)
      rerank-count: 100
    }
  }
}

这个 schema 存了两种 embedding:binary(16 字节/patch)和 bfloat16(256 字节/patch),第一阶段粗筛极快、第二阶段 top-100 全量算 MaxSim 精排。

方案三:Weaviate 1.28+

2025 年初 Weaviate 加入 multivector 支持,API 类似 Qdrant,对 Python 开发者友好:

import weaviate
from weaviate.classes.config import Configure, Property, DataType

client = weaviate.connect_to_local()

client.collections.create(
    "ColPaliPage",
    vectorizer_config=Configure.Vectorizer.none(),
    vector_index_config=Configure.VectorIndex.hnsw(
        multi_vector=Configure.VectorIndex.MultiVector.multi_vector(),
        quantizer=Configure.VectorIndex.Quantizer.rq(),   # Rotational Quantization
    ),
    properties=[
        Property(name="doc", data_type=DataType.TEXT),
        Property(name="page", data_type=DataType.INT),
    ],
)

三者横向对比

存储成本真相

真实性能数字

4 核 vCPU + 32GB 内存的 Qdrant,binary quantization,100 万页索引:

• 索引写入:~400 页/秒(配合 batch upsert)
• 查询延迟 P50:18ms,P99:45ms
• 内存占用:~18GB(热数据驻留)
• 磁盘:22GB

本章小结