什么是过拟合？

过拟合（Overfitting）是指机器学习模型与训练数据过于贴合，甚至像是在“记住”训练集中的样本细节。它通常表现为：模型在训练数据上预测很准确，但面对训练集以外的新数据时表现变差。

过拟合不是模型能力强的简单体现，而是一种不受欢迎的机器学习行为。模型的目标并不是只在已见过的样本上得分高，而是能把训练中学到的规律迁移到未见过的数据上。

可以这样理解：如果模型把训练样本中偶然出现的细节当成规律，它在同一批样本上可能答得很好；但当输入换成新的样本，这些细节不再成立，预测结果就会变得不稳定。

要点： 过拟合的核心问题不是“训练集表现差”，而是“训练集表现很好，但新数据表现不可靠”。

过拟合为什么会影响新数据预测？

训练数据表现好与新数据表现好不是同一件事。训练集只能代表模型已经见过的数据范围，而实际使用时，模型往往需要处理未见过的数据。

当模型过度贴合训练集时，它可能学到的不只是稳定规律，还包括训练样本中的偶然特征、噪声或局部细节。这样一来，模型在训练环境中看起来表现出色，但在现实或新数据环境中可能预测不准确。

因此，过拟合会削弱模型的泛化能力。模型真正有价值的地方，不在于把训练样本“背”得多准确，而在于能否对训练集以外的数据给出可靠预测。

训练误差、验证误差与泛化误差有什么关系？

判断过拟合时，训练误差、验证误差和泛化误差是三个常见概念。

过拟合的一个重要线索是：训练误差远小于验证误差。也就是说，模型在训练集上的错误很少，但一到验证集或新数据上，错误明显增加。

需要注意的是，仅仅最小化训练误差，并不一定意味着泛化误差会减小。如果模型只是越来越贴合训练数据中的细节，训练误差可能持续下降，但新数据预测能力并不会同步提升。

要点： 训练误差可以告诉你模型是否拟合了已有样本，但不能单独说明模型能否很好地泛化到新数据。

过拟合的常见原因有哪些？

过拟合通常与模型复杂度、训练数据规模和数据质量有关。这些因素会影响模型究竟是在学习稳定规律，还是在追随训练集中的偶然细节。

模型复杂度过高

当模型复杂度明显超过任务需要时，它可能不只是学习主要规律，还会拟合训练数据中的细枝末节。这样的模型在训练集上通常看起来很“聪明”，但这些细节未必会出现在新数据中。

训练数据量不足

训练数据太少时，样本覆盖的情况有限。模型可能只根据少量样本形成判断，并把这些样本中的局部特征当成普遍规律，从而降低对新数据的适应能力。

训练数据存在噪声

如果训练数据中包含错误、异常或无关信息，模型可能把这些噪声也当成可学习信号。结果是，模型不仅学习了有用规律，也学习了不该学习的干扰信息。

如何初步判断模型是否过拟合？

初步判断过拟合时，应重点观察模型在训练集和验证集或新数据上的表现差异，而不是只看训练集指标。

先看训练集与验证集表现

如果模型在训练集上表现很好，但在验证集或新数据上表现明显变差，就需要警惕过拟合。这种差异说明模型可能更擅长适应已见样本，而不是处理未见样本。

再比较训练误差和验证误差

训练误差远低于验证误差，是识别过拟合的重要线索。此时，继续单纯追求更低训练误差，未必能改善模型在新数据上的表现。

不要只用训练集评价模型

只用训练集指标评价模型，容易高估模型能力。因为训练集表现好可能只是说明模型记住了训练样本，并不能证明它具备可靠的泛化能力。

可以用下面的检查表做初步判断：

如何降低过拟合风险？

降低过拟合风险，可以先从原因反推：模型是否过于复杂，训练数据是否不足，数据中是否存在较多噪声，以及评估方式是否过度依赖训练误差。

更稳妥的建模思路是：不要只追求训练误差下降，而要持续关注模型在验证集或新数据上的表现。如果训练误差不断降低，但验证误差没有同步改善，就需要重新审视模型、数据和评估方式是否匹配。

从模型复杂度出发

如果模型在训练集上表现很好，但验证误差明显偏高，可以重新审视模型复杂度是否与任务和数据规模匹配。过高的复杂度可能让模型更容易学习到训练集中的偶然模式。

从数据规模出发

如果训练数据量较小，模型看到的样本可能不足以覆盖真实场景中的变化。此时，训练集上的高分不一定可靠，应更谨慎地解读模型表现。

从数据噪声出发

如果数据中存在较多错误、异常或无关信息，模型可能把噪声当成有效信号。评估模型时，应关注这些数据问题是否放大了训练集与验证集之间的表现差距。

建模评估检查清单

要点： 过拟合风险的核心判断标准，是模型能否从训练数据中学到可迁移的规律，而不是能否把训练集拟合到最低误差。