什么是混合精度？

混合精度是指在神经网络训练时，对不同运算采用不同数值精度的训练优化策略。Mixed Precision 通常不是某一种单独的数据类型，而是在训练流程中组合使用多种浮点精度的方法。

在常见训练语境中，混合精度训练会同时使用 FP32 与 FP16，也可以更概括地理解为有策略地结合 32 位和 16 位浮点类型。它的核心思想是：让需要更高数值精度的部分保留较高精度，让对精度不那么敏感、计算量较大的部分使用较低精度。

可以把它理解为训练过程中的“分工”：不是所有环节都用同一种精度完成，而是在结果可验证的前提下，为不同计算选择更合适的精度。

要点： 混合精度的目的不是简单降低精度，而是在训练速度、内存占用和模型训练结果之间取得平衡。

为什么神经网络训练可以使用不同精度

混合精度能够成立，一个重要前提是：神经网络训练中并非所有运算都同样依赖高数值精度。部分运算对数值精度不敏感，因此可以在较低精度下执行，以减少计算和存储开销。

这并不意味着模型训练可以随意降精度。更合理的做法是区分不同训练环节：对精度更敏感的部分保留较高精度，对计算密集且相对不敏感的部分使用较低精度。这样才有机会在加速训练的同时，尽量保持训练结果稳定。

FP32 与 FP16 在训练中如何配合

FP32 通常表示单精度浮点，FP16 通常表示半精度浮点。混合精度训练会让二者在同一个训练流程中同时出现，而不是把整个模型训练完全替换成一种低精度格式。

一个简化的配合流程

识别适合低精度计算的部分

训练框架或训练方案会尝试将部分对精度不敏感、计算量较大的运算放到较低精度中执行，从而减少相关计算与数据存储开销。

保留必要的高精度路径

对于更依赖数值稳定性的部分，混合精度训练通常会保留较高精度，以降低训练不稳定或指标异常的风险。

完成前向与反向训练过程

在实际训练中，模型仍然需要完成前向计算、损失计算、反向传播和参数更新等基本流程。混合精度改变的是其中部分数据和运算使用的数值精度，而不是改变训练目标本身。

FP32 与 FP16 的常见角色

混合精度训练带来的主要收益

混合精度训练的主要目标之一，是在保持训练精度基本持平的条件下提升训练速度。对于计算量较大的深度学习模型，较低精度运算可以减少部分计算负担，从而提高训练效率。

另一个重要收益是降低内存或显存占用。较低位宽的浮点类型在部分训练数据路径中占用更少存储空间，因此在合适条件下，混合精度可能为更大的模型、更大的 batch，或更高效的数据处理留出资源空间。

要点： 判断混合精度是否有效，不能只看训练是否变快，还要观察模型指标是否稳定、损失是否异常、最终效果是否满足任务要求。

混合精度适合哪些训练场景

混合精度更适合作为深度学习训练优化手段，而不是所有任务的默认答案。它通常用于训练成本较高、内存压力较大，或需要在速度与精度之间做平衡的场景。

主流框架和训练平台中的混合精度支持

混合精度已经出现在多类深度学习框架和训练平台文档中。例如，一些框架提供自动混合精度相关能力，也有框架文档将混合精度训练描述为训练过程中同时使用 FP32 和 FP16。

在训练平台和分布式训练相关文档中，也能看到与混合精度相关的能力描述，例如 PyTorch MixedPrecision、PyTorch FSDP、Transformer Engine 以及 FP8 训练等方向。这说明混合精度不仅用于单机训练优化，也会出现在更复杂的训练基础设施中。

实际使用时，应以所选框架或训练平台的官方文档为准。不同框架对自动混合精度的开关方式、默认策略、支持精度和适用范围可能不同。

使用混合精度前需要关注的问题

在启用混合精度之前，建议先把它当作一项需要验证的训练优化，而不是直接替代原有训练方案。尤其是在模型指标敏感、训练稳定性要求较高的任务中，更需要保留对照实验。

采用前检查清单

• 模型中是否存在适合低精度计算的部分。
• 当前训练瓶颈主要是计算耗时，还是内存/显存占用。
• 使用的框架是否提供自动混合精度能力。
• 框架是否支持所需的数据类型，例如 FP16、FP32，或更低精度方向。
• 是否有 FP32 基线结果可用于对照。
• 是否会持续观察损失曲线、验证指标和训练稳定性。

不应只关注速度

混合精度训练的目标包括训练加速和降低内存占用，但最终仍要服务于模型效果。启用后应关注三个方面：训练是否更快，内存或显存占用是否改善，模型指标是否与基线保持一致或处于可接受范围内。

谨慎看待 FP8 等更低精度方向

部分训练平台和组件已经出现 FP8 训练相关说明，但这并不意味着所有模型都适合使用 FP8。更低精度通常对框架、训练方案和稳定性验证提出更高要求，是否采用应结合具体环境判断。