什么是 Faithfulness 忠实度？

Faithfulness 忠实度是大模型评估中的一个指标，用于衡量模型输出是否建立在给定语境、上下文或源材料之上。简单说，它回答的是：模型生成的内容是否有依据，是否能从输入材料中得到支持或合理推断。

在问答、摘要、RAG 等生成任务中，模型可能给出语言流畅但缺少依据的回答。忠实度关注的不是句子是否自然、语气是否像人，而是输出中的事实性声明是否与可用证据保持一致。

要点： 忠实度越高，通常表示回答与上下文或源材料越一致；忠实度越低，则可能存在无依据声明、信息补全过度或与材料不一致的问题。

可以把忠实度理解为“回答和依据之间的对账”。模型输出像一张账单，上下文或源材料像原始凭证，忠实度评估要检查账单上的每一项是否能在凭证中找到依据。

为什么大模型评估需要忠实度？

大模型生成内容时，常见风险之一是“看起来合理但没有依据”。这类问题在大模型幻觉评估中尤其重要，因为用户往往会先看到流畅的答案，却不容易发现其中某些结论并未被上下文支持。

忠实度指标可以帮助发现以下问题：

• 回答中加入了上下文没有提供的新事实；
• 模型把相近但不同的信息混在一起；
• 摘要遗漏或扭曲了原文中的关键条件；
• RAG 系统检索到了材料，但答案并没有真正基于这些材料生成；
• 答案表达自然，但与源材料存在事实不一致。

在 RAG 场景中，检索内容的质量会直接影响回答质量。更准确、相关的检索信息通常有助于减少模型错误；反过来，如果检索材料不完整、无关或彼此冲突，即使生成模型本身能力较强，也可能产生低忠实度回答。

需要注意的是，忠实度不是对“答案好不好”的全部评价。一个回答可能忠实于上下文，但不够完整；也可能表达清楚，却没有回答用户真正的问题。因此，忠实度更适合作为大模型评估体系中的一个关键维度，而不是唯一标准。

忠实度评估的基本原理

忠实度评估的核心思路，是把模型回答与上下文或源材料进行对齐，判断回答中的声明是否能被材料支持。不同工具和研究可能采用不同实现方式，但通常会围绕“声明提取”和“支持关系判断”展开。

典型评估流程

提取回答中的声明

评估过程通常会先把模型回答拆解为若干可判断的声明。例如，回答中的事实、结论、数值、关系、因果解释，都可能被视为需要核查的声明。

对齐上下文或源材料

接下来，需要查找给定上下文、检索片段或原始文档中是否存在与这些声明相关的信息。这个步骤关注的是“依据在哪里”，而不是只比较文字是否完全相同。

判断支持关系

如果某个声明可以从上下文中直接获得支持，或能够由上下文合理推断出来，那么它通常被认为对上下文更忠实。如果声明无法从材料中找到依据，或者与材料相矛盾，就可能降低忠实度。

汇总评分或结论

最后，评估工具可能会把多个声明的判断结果汇总为一个分数、标签或解释性结论。由于不同工具的评分范围、阈值和算法不同，具体结果应结合所用评估方法解读。

常见评估方式

相关研究中，使用大型语言模型作为忠实度评估器，通常与人类判断具有较高相关性。但这并不意味着评估器本身一定完全可靠；在高风险场景中，仍需要结合抽样复核、人工审核和其他质量指标。

忠实度与归因信息有什么关系？

忠实度回答的是“内容是否有依据”，归因信息进一步回答“依据可能来自哪里”。在部分评估工具中，系统可以从上下文中提取属性、证据片段或相关句子，用于展示哪些内容对模型输出贡献更大。

归因信息的价值主要体现在三方面：

• 定位回答依据： 帮助用户看到模型回答可能参考了哪些上下文句子；
• 排查不一致内容： 当忠实度较低时，可以更快发现哪些声明缺少支撑；
• 辅助人工复核： 审核人员可以从相关证据片段开始检查，而不必通读全部材料。

不过，归因能力并不是所有忠实度评估都会提供。有些工具只给出整体分数或判断结果，有些工具只有在特定评估模型或特定计算方式下才提供归因信息。因此，在使用忠实度指标时，应先确认所用工具是否支持归因，以及归因结果代表的是证据贡献、语义相关性，还是其他内部解释方式。

忠实度适用于哪些任务？

忠实度适用于需要检查“生成内容是否忠于来源”的任务。它既可以用于单轮问答，也可以用于摘要、翻译和 RAG 系统评估。

摘要场景

在摘要任务中，忠实度关注生成摘要是否忠于原文材料。一个摘要可以很简洁，但不能把原文没有表达的结论写进去，也不能改变原文中的条件、对象或因果关系。

问答场景

在问答任务中，忠实度关注答案是否能由相关上下文支撑。如果答案直接回答了问题，但其中部分细节没有来自上下文，那么这部分内容就可能构成低忠实度风险。

机器翻译场景

在机器翻译中，忠实度关注译文是否保持原文信息一致。它不只检查语言是否通顺，也关注译文是否增加、减少或改变了原文含义。

RAG 场景

在 RAG 系统中，忠实度尤其重要。因为 RAG 的目标通常不是让模型单纯依靠内部知识回答，而是让它基于检索到的外部材料生成答案。因此，RAG 忠实度评估重点检查答案是否真正来自检索上下文。

如何解读忠实度结果？

较高忠实度通常意味着模型回答与上下文或源材料更一致，回答中的主要声明能够被材料支持。较低忠实度则可能提示存在无依据声明、上下文遗漏、检索质量不足，或模型在生成时进行了过度补全。

但忠实度结果不应孤立解读。一个回答可能完全基于上下文，却没有覆盖用户真正需要的信息；也可能上下文本身存在错误，导致高忠实度回答仍然不符合真实世界事实。因此，在实际评估中，建议将忠实度与相关性、准确性、完整性、可读性等指标结合使用。

忠实度结果检查清单

要点： 忠实度低不一定说明模型整体能力差，也可能是检索上下文质量不足、提示词约束不清或评估方法不适配当前任务。

使用忠实度指标时要注意什么？

不同工具对 Faithfulness 忠实度的定义、计算方式、评分范围和阈值解释可能不同。有的工具更关注回答与上下文的支持关系，有的工具还会提供证据片段或归因信息。因此，看到忠实度分数时，首先要确认它是如何计算出来的。

在生产或严肃业务场景中，建议把忠实度用于风险发现、调优反馈和人工审核辅助，而不是直接等同于最终正确性。

使用时可以遵循以下原则：

• 先明确依据范围： 判断回答应忠于哪个上下文、哪组检索结果或哪份源材料；
• 不要只看单一分数： 结合相关性、答案完整性和事实准确性综合判断；
• 关注低分样本原因： 区分是模型编造、检索错误、上下文缺失，还是评估器误判；
• 谨慎设置阈值： 具体阈值应以所用工具文档和业务验证结果为准；
• 高风险场景保留人工复核： 对影响较大的业务决策或专业判断，忠实度评估只能辅助审核，不能替代人工确认。

当前公开资料能够较好支持忠实度的概念、评估方向和典型应用，但具体公式、评分区间、阈值含义和端到端实现步骤需要以实际使用的评估工具文档为准。