Logit 是什么:从几率对数到逻辑回归应用
Logit 是把事件概率转换为几率对数的函数。它与 Sigmoid 互为反函数,可帮助理解逻辑回归在二分类任务中如何估计发生可能性。

什么是 Logit?
Logit 是一种把事件发生概率转换为几率对数的函数,中文常译作“分对数”或“洛吉”。它的核心公式是:logit(p)=ln(p/(1-p))。其中,p 表示事件发生的概率,1-p 表示事件不发生的概率。
在这个公式里,p/(1-p) 是事件发生相对于不发生的几率,Logit 则是这个几率的自然对数。换句话说,Logit 不直接表示概率本身,而是把概率改写到另一个更便于建模和比较的数值尺度上。
要点: 概率回答“发生的可能性有多大”,几率回答“发生相对于不发生有多强”,Logit 则是在几率的基础上取自然对数。
Logit 的命名通常追溯到 Joseph Berkson 在 1944 年对该函数的使用与命名。在现代统计学习和机器学习语境中,理解 Logit 通常有助于继续理解逻辑回归、Sigmoid 和二分类模型输出。
从概率到几率再到 Logit
概率、几率和 Logit 描述的是同一件事的不同表达方式。概率关注事件发生在全部可能结果中的比例;几率关注事件发生与不发生之间的相对关系;Logit 则进一步对几率取自然对数。
以事件发生概率 p 为例:
| 概念 | 表达式 | 含义 |
|---|---|---|
| 概率 | p | 事件发生的可能性,通常位于 0 到 1 之间 |
| 不发生概率 | 1-p | 事件不发生的可能性 |
| 几率 | p/(1-p) | 发生与不发生的相对比例 |
| Logit | ln(p/(1-p)) | 几率的自然对数 |
如果 p=0.5,则几率为 1,Logit 值为 0,表示发生与不发生在几率上相当。如果 p=0.8,则几率为 4,Logit 值约为 1.39,表示发生相对于不发生更占优势。如果 p=0.2,则几率为 0.25,Logit 值约为 -1.39,表示不发生更占优势。
| 概率 p | 几率 p/(1-p) | Logit 值 | 直观理解 |
|---|---|---|---|
| 0.2 | 0.25 | 约 -1.39 | 事件发生的可能性低于不发生 |
| 0.5 | 1 | 0 | 发生与不发生的几率相当 |
| 0.8 | 4 | 约 1.39 | 事件发生的可能性高于不发生 |
Logit 的作用可以理解为:把原本压缩在 0 到 1 之间的概率,转换为可正可负的数值尺度。这样做有助于在模型中描述输入因素与事件发生可能性之间的关系。
Logit 与 Sigmoid 有什么关系?
Logit 函数和 Sigmoid 函数互为反函数。如果一个值是 Sigmoid 函数的输出,那么它的 Logit 值就是 Sigmoid 函数的输入;反过来,如果一个值经过 Sigmoid 得到概率,这个概率再经过 Logit 也可以回到原来的输入尺度。
可以用一句话概括二者关系:Logit 把概率拉回到实数空间,Sigmoid 把实数映射为概率。
| 方向 | 输入 | 输出 | 作用 |
|---|---|---|---|
| Logit | 概率 p | 几率对数 | 从概率尺度转换到更适合建模的数值尺度 |
| Sigmoid | 实数值 | 0 到 1 之间的概率 | 从模型数值转换为概率形式 |
在二分类模型中,这种互逆关系很重要。模型内部可以处理一个未必直接表现为概率的数值关系,而最终判断时又需要得到某类事件发生的可能性。Logit 和 Sigmoid 正好帮助理解这两个尺度之间的转换。
Logit 在逻辑回归中起什么作用?
逻辑回归是一种用于分类的模型,常用于解决二分类问题,例如结果为 0 或 1 的任务。虽然它的名称里有“回归”,但它通常用于估计某类事件发生的可能性,并据此完成分类判断,而不是输出连续数值预测。
从机器学习角度看,逻辑回归属于监督式机器学习中的分类算法,可用于预测离散或分类结果。它通过数学关系把输入因子与目标结果联系起来,并根据这种关系预测类别。
Logit 在这里的价值主要体现在概率解释上:
- 逻辑回归关注某个事件发生的可能性;
- 二分类问题需要把输入特征与“属于某类”或“不属于某类”联系起来;
- Logit 和 Sigmoid 的互逆关系,可以帮助理解模型数值与概率输出之间的转换过程。
因此,学习逻辑回归时经常会遇到 Logit。它不是逻辑回归本身,而是理解概率、几率和分类判断之间关系的重要数学工具。
Logit、概率和逻辑回归有什么区别?
Logit、概率和逻辑回归经常一起出现,但它们不是同一层级的概念。
| 概念 | 本质 | 解决的问题 | 与二分类的关系 |
|---|---|---|---|
| 概率 | 对事件发生可能性的表示 | 表示事件发生的可能性有多大 | 可作为分类判断的依据之一 |
| 几率 | 发生概率与不发生概率之比 | 表示发生相对于不发生的相对强度 | 帮助比较两种结果的相对倾向 |
| Logit | 对几率取自然对数的函数或变换 | 把概率转换为几率对数尺度 | 帮助理解模型数值与概率之间的关系 |
| Sigmoid | 与 Logit 互为反函数的函数 | 把实数值转换为概率形式 | 常用于理解分类模型的概率输出 |
| 逻辑回归 | 监督式机器学习中的分类算法 | 根据数据关系预测离散或分类结果 | 常用于 0/1 二分类问题 |
可以把它们放在一个层次关系中理解:概率是结果表达,Logit 是概率变换,逻辑回归是使用相关数学关系进行分类预测的模型。对于初学者来说,先理解概率和几率,再理解 Logit 与 Sigmoid,最后再看逻辑回归,会更容易把这些概念串起来。
哪些场景需要理解 Logit?
理解 Logit 的价值不只在公式本身,更在于它能帮助读者看懂二分类模型中的概率转换和分类判断。
| 用户需求 | 解决方式 | 效果 |
|---|---|---|
| 机器学习入门 | 通过 Logit 理解概率、几率和 Sigmoid 的关系 | 更容易理解二分类模型如何把数值关系转为分类结果 |
| 学习逻辑回归 | 将逻辑回归看作估计事件发生可能性的分类模型 | 避免把“逻辑回归”误解为普通回归任务 |
| 做模型解释 | 区分概率、几率、Logit 和最终分类判断 | 能更清楚地解释某类事件为何更可能发生 |
| 数据分析建模 | 理解模型如何根据因子之间的关系预测离散结果 | 更好地选择和解释分类分析方法 |
在实际学习路径中,可以用下面的顺序检查自己是否理解到位:
- 看到
p时,先确认它表示事件发生概率; - 看到
p/(1-p)时,理解它表示发生与不发生的几率; - 看到
ln(p/(1-p))时,知道它就是 Logit; - 看到 Sigmoid 时,知道它与 Logit 互为反函数;
- 看到逻辑回归时,理解它是用于分类预测的模型,常用于二分类问题。