Groundedness 有据性:定义、原理与 RAG 应用

Groundedness 有据性指回答紧密遵循给定信息,避免无依据推测或编造。它围绕 query、response、context 做检索上下文一致性检查,适合 RAG 评估与知识问答质量检查。

Groundedness 有据性:定义、原理与 RAG 应用

什么是 Groundedness 有据性?

Groundedness 有据性是指模型回答紧密遵循给定信息,回答中的关键内容应能从提供的资料、检索上下文或指定信息源中找到依据。一个有据的回答不仅要表达流畅,还要尽量避免推测、补充未经支持的信息或编造内容。

在大语言模型应用中,有据性关注的不是回答“听起来是否合理”,而是回答“是否真的由给定信息支撑”。例如,在知识问答系统中,如果检索材料只说明某产品支持某项功能,模型不应进一步声称它支持材料中未出现的价格、性能或合规承诺。

要点: Groundedness 的核心是“回答与依据之间的一致性”。语言自然、结构完整,并不等于回答有据。

有据性通常用于评估以下问题:

  • 回答中的关键结论是否来自给定上下文。
  • 回答是否引入了上下文之外的新事实。
  • 回答是否存在过度推断、猜测或编造。
  • 回答是否便于追溯到原始资料或检索片段。

Grounding 与 Groundedness 的关系

Grounding 是将 AI 智能体或大语言模型应用连接到外部信息源的过程。外部信息源可以是文档库、数据库、搜索结果、业务系统或其他可检索的上下文。这样做的目标,是让模型在生成回答时能够参考更准确、更新、可验证的信息。

Groundedness 则更偏向评估维度:它检查模型最终生成的回答是否真的贴合这些信息源。简单来说,Grounding 负责“把资料接进来”,Groundedness 负责“检查回答有没有用好这些资料”。

概念关注点典型问题在应用中的位置
Grounding连接外部信息源模型能否访问相关资料?生成回答之前或过程中
Groundedness 有据性回答与依据是否一致回答是否被上下文支持?生成回答之后的评估与检测
检索上下文一致性response 与 context 的匹配程度回答是否偏离检索文档?RAG 评估与质量检查

二者常常配合出现。没有 Grounding,模型可能只能依赖参数记忆或泛化能力;有了 Grounding 但缺少 Groundedness 检查,回答仍可能误读资料、遗漏限制条件,或把没有依据的内容写得很自然。

RAG 知识问答中的有据性问题

在 RAG 知识问答中,系统通常先根据用户问题检索相关资料,再让大语言模型基于这些检索上下文生成回答。因此,RAG 评估不能只看回答是否通顺,还要检查 response 是否与 context 保持一致。

有据性评估通常围绕三个对象展开:

  • query:用户提出了什么问题,问题需要什么范围的答案。
  • response:模型最终回答了什么,包含哪些关键结论。
  • context:系统检索到哪些资料,哪些内容可以作为回答依据。

当 response 中的结论可以在 context 中找到明确支持时,回答的有据性较高;当 response 引入了 context 没有出现的事实、判断或扩展说法时,就需要标记为低有据性或缺少上下文支持。

回答类型典型表现风险
高有据性回答关键结论与检索上下文一致,必要时保留上下文中的限制条件风险较低,便于复查
低有据性回答大体方向相关,但加入了上下文没有支持的推断或细节可能误导用户,难以追溯依据
缺少上下文支持的回答回答内容在检索资料中找不到对应依据容易形成编造或不可靠结论

例如,用户询问某内部制度的报销范围,检索上下文只包含交通和住宿条款。高有据性回答应围绕这两类条款说明;如果回答进一步补充餐饮补贴、审批时限或例外政策,而上下文没有相关内容,这些补充就属于需要重点检查的部分。

Groundedness 评估的基本流程

在一些自动化 RAG 评估实践中,可以将评估器或测试组件通过 API 连接到大语言模型应用,记录 query、response、context,再检查回答中的事实断言是否能在检索上下文中找到支持。

1. 采集评估样本

评估开始时,需要保留用户问题、模型回答和检索上下文。只有同时记录 query、response、context,后续才能复现模型为什么这样回答,也才能定位问题来自检索、生成还是提示词设计。

2. 拆分回答中的事实断言

模型的一段回答通常包含多个独立结论。评估时可以把 response 拆成若干事实断言,例如“某功能支持某场景”“某流程需要某步骤”“某限制条件适用于某对象”。

拆分的目的,是避免只给整段回答一个笼统判断。即使一段回答总体正确,其中某个细节也可能缺少依据。

3. 在检索上下文中查找支持

对每个事实断言,逐一回到 context 中查找是否存在明确支持。支持可以来自原文直接陈述,也可以来自上下文中清晰可验证的对应信息;如果只能依靠模型推测或常识补充,就不应视为充分有据。

4. 标记不支持或过度推断的内容

当某个断言无法在 context 中找到依据时,应将其标记为不支持内容。对于与 context 方向相近但超出原文范围的说法,可以标记为过度推断。这样的标记有助于改进检索策略、提示词约束和回答生成逻辑。

5. 汇总问题并回到系统改进

有据性评估的结果不只是一个质量标签,还可以反向指导系统优化:

  • 如果 context 缺少相关资料,优先检查检索召回。
  • 如果 context 有资料但 response 没有正确使用,优先检查提示词和生成约束。
  • 如果 response 经常加入额外事实,优先限制模型只基于给定上下文回答。
  • 如果难以复现问题,优先补齐 query、response、context 的日志记录。

有据性检测能解决哪些问题

有据性检测的主要价值,是把大语言模型评估从“回答是否像真的”推进到“回答是否有依据”。在 RAG、知识问答、内容安全和质量检测场景中,它可以帮助发现回答与给定资料之间的不一致。

问题有据性检测的作用适用场景
回答中出现推测或编造检查结论是否被给定信息支持知识问答、客服助手、企业文档问答
RAG 回答偏离检索材料对比 response 与 context 的一致性RAG 项目评估、检索增强生成测试
难以判断回答是否可靠将回答拆成可复查的事实断言大语言模型评估、人工复核辅助
回答质量只看流畅度增加“是否有依据”的检查维度内容质量检测、上线前测试

需要注意的是,有据性检测并不等同于判断世界事实的绝对真伪。它更关注回答是否遵循“给定信息”。如果上下文本身过期、错误或不完整,即使回答完全贴合上下文,也仍然需要结合资料质量、检索质量和业务审核一起判断。

要点: 有据性检测不能保证消除所有幻觉,但能帮助暴露“回答没有上下文支持”的问题,是 RAG 评估中常见的质量维度之一。

实践中的有据性检查清单

在实际建设大语言模型应用时,可以用一套轻量检查清单来判断回答是否足够有据。它既适合人工抽检,也适合为自动化评估设计规则和样本。

回答依据检查

  • 每个关键结论是否能在检索上下文中找到明确支持。
  • 回答是否保留了上下文中的限制条件、适用范围和例外说明。
  • 回答是否把多个来源的信息错误合并成一个结论。
  • 回答是否把可能性、建议或推断写成确定事实。

上下文边界检查

  • response 是否引入了 context 之外的新事实。
  • 回答是否补充了未提供的数字、时间、价格、性能或政策细节。
  • 当 context 信息不足时,模型是否明确说明无法从现有资料判断。
  • 回答是否因为追求完整性而扩展到用户没有询问、资料也没有支持的范围。

评估数据记录检查

  • query 是否被完整记录,便于理解用户意图。
  • response 是否保留原始输出,而不是只保留人工修改后的版本。
  • context 是否包含实际提供给模型的检索片段。
  • 评估样本是否能复现问题,方便定位检索或生成环节。

质量判断检查

  • 不要只根据回答是否流畅来判断质量。
  • 不要把“看起来合理”当成“有资料支持”。
  • 对关键业务结论,应优先检查其在上下文中的来源。
  • 对缺少依据的内容,应区分是检索未召回,还是模型生成时自行扩展。

通过这些检查,可以把 Groundedness 有据性落实到具体流程中:先记录 query、response、context,再拆分回答中的事实断言,最后逐项检查这些断言是否获得检索上下文支持。这种方法尤其适合 RAG 评估和知识问答质量评估。