什么是数据泄漏？

数据泄漏是指模型在离线训练、验证或测试阶段，提前获得了真实上线时不应该拥有的信息。它的关键不在于代码是否报错，而在于评测过程是否错误地扩大了模型可用的信息边界。

在机器学习评测中，数据泄漏常常表现得很隐蔽：训练流程可以正常运行，指标可以正常计算，结果看起来也很规范，但测试分数可能测到的是模型“偷看线索”后的表现，而不是真实泛化能力。

可以把它理解为一场考试：如果学生在考试前看到了答案线索，分数再高也不能说明他真正掌握了知识。模型也是如此，一旦离线阶段拿到了未来才会出现、预测时不可获得，或本应隔离在测试集中的信息，评测结果就会失真。

要点： 判断数据泄漏时，不要只看模型分数是否高，也不要只看代码是否能运行；更重要的是检查模型在评测时看到的信息，是否等同于真实预测时能看到的信息。

机器学习评测为什么会虚高？

机器学习评测的目标，是估计模型在未知数据上的表现。如果测试分数来自模型提前获得线索后的表现，指标就会高估模型能力，形成“离线评估虚高”。

这种虚高通常有三个直接后果：

数据泄漏造成的高分，并不等于模型真的学会了可迁移的规律。它更像是模型利用了评测流程中的捷径：这些捷径在离线测试中存在，但在真实上线后消失，于是线上效果可能明显下降。

在大模型或通用模型能力评测中，也存在类似问题。如果评测数据在训练阶段被泄露或使用，评测结果可能被抬高，无法真实反映模型能力。这类问题通常也被称为数据污染。

信息边界和预测时点是判断关键

判断数据泄漏，首先要定义两个问题：模型在什么时候做预测，以及在那个时间点它能看到哪些信息。前者是预测时点，后者是信息边界。

预测时点决定哪些信息可用

预测时点是模型在真实场景中产生预测的时间位置。例如，一个模型如果要在用户提交申请时判断风险，那么申请之后才产生的结果、人工审核结论或后续行为，就不应作为当时的输入特征。

如果离线训练时把预测之后才出现的信息放进特征，模型就会提前获得未来线索。即使这个特征在历史数据表中真实存在，也不代表它在真实预测时可用。

信息边界决定评测是否公平

信息边界用于说明模型在真实预测时允许使用的信息范围。它不仅包括字段是否存在，还包括字段产生的时间、来源和可获得性。

可以用以下问题检查每个特征：

特征本身也可能成为数据泄漏来源。判断一个特征是否可用，不能只看它与标签的相关性高不高，而要看它在真实预测场景中是否可获得、是否会提前透露结果。

数据集划分中的典型泄漏线索

在任何建模前，都应先明确训练集、验证集和测试集的划分策略，并在后续流程中保持一致。数据集划分不是评测结束后的整理动作，而是决定评测可信度的基础设计。

训练集、验证集和测试集边界不清

如果训练、调参、选择模型和最终评测反复使用同一批数据，测试结果就可能不再代表未知数据表现。即使没有明显的代码错误，评测边界也可能已经被破坏。

更稳妥的做法是：在建模前先确定数据如何划分，明确哪些数据用于训练，哪些数据用于验证和选择模型，哪些数据只用于最终评估，并避免事后根据分数调整划分方式。

评测数据进入训练阶段

当评测数据在模型训练阶段被泄露或使用时，评测结果会被污染。这类情况在大模型能力评测中尤其需要警惕，因为一旦评测样本已经进入训练过程，模型可能并不是在“解题”，而是在复现训练中见过的信息。

这类问题通常被称为数据污染。它会导致评测结果虚高，并削弱评测对真实模型能力的解释力。

训练集和测试集存在高度相似样本

如果训练集与测试集中存在高度相似的数据样本，模型可能记住训练数据中的相似信息，而不是学到可泛化规律。这样得到的测试分数也可能偏高。

这并不意味着所有相似样本都一定构成泄漏，但它是一个重要风险信号。是否构成泄漏，需要结合预测时点、信息边界和划分策略判断：如果测试样本中的关键信息已经通过相似训练样本被模型提前看到，评测可信度就会下降。

数据泄漏与数据污染有什么关系？

数据泄漏和数据污染都可能让评测结果虚高，但二者强调的范围不同。

可以把数据污染看作数据泄漏在评测数据层面的一个重要表现。数据泄漏的范围更宽，既可能发生在特征工程中，也可能发生在数据集划分、训练流程或评测流程中；数据污染则更强调评测样本或评测信息进入训练阶段。

二者的核心问题是一致的：评测没有模拟真实使用条件。模型在评测中看到的信息，比它上线后能看到的信息更多，因此分数失去代表性。

建模前如何降低泄漏风险？

降低数据泄漏风险，应尽量前置到建模开始之前，而不是等离线指标很好或线上效果变差后再排查。

1. 先写清楚数据集划分策略

在特征工程、训练和评测前，先确定训练集、验证集和测试集如何划分，并在流程中保持一致。避免先观察结果，再按分数调整划分方式。

需要特别关注：测试集是否只用于最终评估，验证集是否被过度使用，评测数据是否以任何形式进入训练阶段。

2. 按预测时点核对每个特征

逐项检查特征是否在真实预测时已经产生，是否能被上线系统获取，是否包含预测之后才知道的结果信息。

如果一个字段只有在结果发生后才出现，即使它在历史表中与标签强相关，也不应直接作为预测特征。

3. 检查训练集与测试集的信息重叠

对训练集和测试集中的高度相似样本保持警惕。相似样本可能让模型依靠记忆获得高分，而不是依靠可泛化规律。

在包含大量重复、近重复或高度相似样本的数据集中，尤其需要检查训练集和测试集之间是否存在不合理的信息重叠。

4. 用线上表现反查离线评测

如果离线指标很好，但上线后的真实效果明显变差，应优先回查是否存在数据泄漏或数据污染。重点检查评测数据是否被训练流程使用、特征是否越过预测时点、数据集划分是否在建模过程中被反复调整。

检查清单： 建模前先问四个问题：预测发生在什么时候？当时能看到哪些信息？训练、验证、测试边界是否清楚？测试集或相似测试信息是否进入了训练阶段？

哪些评测场景更需要警惕虚高？

并不是只有复杂模型才会发生数据泄漏。只要评测使用的信息边界与真实预测场景不一致，普通机器学习模型和大模型评测都可能出现虚高。

数据泄漏的难点在于它常常不会破坏程序运行，却会破坏评测含义。只要评测没有严格模拟真实预测条件，模型分数就可能看起来很好，但并不能代表它上线后也会稳定有效。