什么是稀疏检索？

稀疏检索，也称 Sparse Retrieval，是一类依赖文本离散、显式表示的信息检索技术。它通常使用稀疏向量表示文本：向量中只有少量维度具有非零特征，这些维度往往对应词项、关键词或其他可解释信号。

与把文本映射到连续语义空间的密集检索不同，稀疏检索更强调“哪些明确线索被命中”。可以把它理解为一种带有可追踪依据的检索方式：当某个结果被召回时，系统更容易分析它与查询之间共享了哪些词项或特征。

要点：稀疏检索不等同于简单的关键词搜索。关键词匹配是稀疏表示中容易理解的一类形式，而 SPLADE、Learned 稀疏向量等方法会在显式特征基础上引入模型能力。

稀疏向量为什么适合文本检索？

稀疏向量是信息检索和自然语言处理中的重要数据表示方法。文本天然包含大量离散信号，例如词、短语、编号、术语、实体名和领域关键词，这些信号很适合用稀疏特征表达。

显式特征有助于关键词感知

在很多检索任务中，用户关心的不只是语义是否相近，还包括某些词是否真的出现或被强烈匹配。例如技术文档、合规条款、商品属性、代码片段、故障编号等内容，关键词或领域词本身就具有很高的信息价值。

稀疏向量通过显式特征表示文本，能够更直接地保留这些可观察线索。因此，它在关键词感知、结果解释和面向领域知识的搜索中具有实际价值。

可解释性更适合需要追踪依据的任务

当检索结果需要被人工审核、调试或用于下游系统时，可解释性会变得重要。稀疏检索通常更容易回答以下问题：

• 查询中的哪些词项影响了召回？
• 文档中的哪些特征与查询形成匹配？
• 某个领域词、缩写或编号是否参与了检索得分？

这类能力不等于最终结果一定更好，但会让检索系统更容易分析、调试和迭代。

学习型稀疏向量扩展了传统稀疏表示

稀疏检索并不只停留在人工规则或简单词频匹配。Learned 稀疏向量会利用模型学习文本中的重要特征，并以稀疏向量形式输出。这样既保留了稀疏表示的显式特征优势，也尝试引入模型对语言表达的泛化能力。

稀疏检索与密集检索有什么核心区别？

稀疏检索和密集检索的核心差异在于文本表示方式。稀疏检索使用明确存在的特征表示文本，密集检索则通常将文本映射到连续、高维的向量空间中。

密集向量因语义理解能力受到关注，适合处理同义改写、语义相近但字面不同的表达。稀疏向量则在关键词感知、域外知识搜索和可解释性方面更有优势。

因此，两者不是绝对替代关系。实际选型时，更合理的做法是根据检索目标判断：如果任务高度依赖术语、编号、实体和可解释命中，稀疏检索更值得关注；如果任务更重视语义泛化和模糊表达理解，密集检索或组合方案可能更合适。

SPLADE 如何改进传统稀疏表示？

SPLADE 是稀疏向量检索中的代表性模型方向，可用于理解学习型稀疏向量如何改进传统稀疏表示。它的核心思路之一是通过词项扩展缓解词汇不匹配问题。

什么是词汇不匹配？

词汇不匹配指的是查询和文档表达的是相近意思，但使用的词不完全相同。例如用户输入一个概念的简称，而文档使用的是全称；或者用户使用日常表达，文档使用专业术语。传统的严格词项匹配在这类情况下可能召回不足。

SPLADE 的词项扩展有什么作用？

SPLADE 通过模型能力为查询或文档扩展相关词项，使二者即使用词不完全相同，也可能建立匹配关系。这样做的目标是保留稀疏检索的关键词感知和可解释性，同时改善单纯字面匹配的局限。

需要注意的是，SPLADE 并不意味着稀疏检索已经完全取代密集检索。更准确的理解是：它尝试结合稀疏检索和密集检索各自的优势，在显式特征表示中加入学习能力。

稀疏检索的主要应用场景

稀疏向量在信息检索、自然语言处理和推荐系统中都有应用价值。下面按“用户需求 → 解决方式 → 效果”梳理常见场景。

在这些场景中，稀疏检索的价值通常来自两个方面：一是保留明确特征，二是让检索结果更容易被分析和调试。

稀疏检索有哪些优势与局限？

稀疏检索的优势集中在显式特征表达上，但在工程落地时也需要关注性能和系统复杂度。

主要优势

• 关键词感知强：稀疏表示能直接保留词项、关键词、术语等信号。
• 可解释性较好：命中依据更容易追踪，便于调试和人工审核。
• 适合领域搜索：对专业词、编号、缩写和域外知识搜索更有价值。
• 可与学习方法结合：SPLADE、Learned 稀疏向量等方法让稀疏检索不再局限于简单词面匹配。

需要注意的局限

部分学习型稀疏向量方法可能面临检索速度等工程问题。实际使用时，不能只看召回效果，还应评估索引规模、查询延迟、系统实现复杂度，以及与现有检索链路的兼容性。

要点：如果没有直接的性能测试数据，不应假设某种稀疏方法一定更快或更准。检索方案应在具体语料、查询类型和业务约束下验证。

如何判断是否适合使用稀疏检索？

判断是否采用稀疏检索，可以从检索目标、文本特征和工程约束三个方面入手。

适合优先考虑稀疏检索的情况

如果你的任务符合以下条件，稀疏检索通常值得评估：

• 查询中经常出现专业术语、产品型号、代码、编号或缩写。
• 结果需要说明“为什么被召回”。
• 用户非常关注关键词是否被命中。
• 数据包含大量领域知识，通用语义模型可能难以充分覆盖。
• 检索系统需要便于调试、审核和排查召回问题。

更适合考虑密集检索或组合方案的情况

如果目标更偏向语义相似、改写理解或模糊表达匹配，仅依赖稀疏检索可能不够。此时可以考虑密集检索，或根据任务需要将稀疏检索与密集检索组合使用。

例如，当用户的问题和文档答案用词差异很大，但语义高度相关时，密集向量的语义理解能力可能更有帮助；而当用户输入的是精确术语、编号或实体名时，稀疏检索的显式匹配信号可能更可靠。

使用 SPLADE 或 Learned 稀疏向量时的检查清单

在评估 SPLADE 或 Learned 稀疏向量时，可以重点检查：

• 词项扩展是否确实缓解了查询与文档之间的词汇不匹配。
• 检索速度是否满足业务延迟要求。
• 索引规模和系统复杂度是否可接受。
• 结果解释是否比密集检索更容易落地。
• 与现有搜索、排序或推荐链路是否容易集成。

最终选型不应只基于“稀疏”或“密集”的标签，而应回到具体问题：你需要的是可解释的关键词命中、强语义泛化，还是二者之间的平衡。