Logit 是什么:从几率对数到逻辑回归应用

Logit 是把事件概率转换为几率对数的函数。它与 Sigmoid 互为反函数,可帮助理解逻辑回归在二分类任务中如何估计发生可能性。

Logit 是什么:从几率对数到逻辑回归应用

什么是 Logit?

Logit 是一种把事件发生概率转换为几率对数的函数,中文常译作“分对数”或“洛吉”。它的核心公式是:logit(p)=ln(p/(1-p))。其中,p 表示事件发生的概率,1-p 表示事件不发生的概率。

在这个公式里,p/(1-p) 是事件发生相对于不发生的几率,Logit 则是这个几率的自然对数。换句话说,Logit 不直接表示概率本身,而是把概率改写到另一个更便于建模和比较的数值尺度上。

要点: 概率回答“发生的可能性有多大”,几率回答“发生相对于不发生有多强”,Logit 则是在几率的基础上取自然对数。

Logit 的命名通常追溯到 Joseph Berkson 在 1944 年对该函数的使用与命名。在现代统计学习和机器学习语境中,理解 Logit 通常有助于继续理解逻辑回归、Sigmoid 和二分类模型输出。

从概率到几率再到 Logit

概率、几率和 Logit 描述的是同一件事的不同表达方式。概率关注事件发生在全部可能结果中的比例;几率关注事件发生与不发生之间的相对关系;Logit 则进一步对几率取自然对数。

以事件发生概率 p 为例:

概念表达式含义
概率p事件发生的可能性,通常位于 0 到 1 之间
不发生概率1-p事件不发生的可能性
几率p/(1-p)发生与不发生的相对比例
Logitln(p/(1-p))几率的自然对数

如果 p=0.5,则几率为 1,Logit 值为 0,表示发生与不发生在几率上相当。如果 p=0.8,则几率为 4,Logit 值约为 1.39,表示发生相对于不发生更占优势。如果 p=0.2,则几率为 0.25,Logit 值约为 -1.39,表示不发生更占优势。

概率 p几率 p/(1-p)Logit 值直观理解
0.20.25约 -1.39事件发生的可能性低于不发生
0.510发生与不发生的几率相当
0.84约 1.39事件发生的可能性高于不发生

Logit 的作用可以理解为:把原本压缩在 0 到 1 之间的概率,转换为可正可负的数值尺度。这样做有助于在模型中描述输入因素与事件发生可能性之间的关系。

Logit 与 Sigmoid 有什么关系?

Logit 函数和 Sigmoid 函数互为反函数。如果一个值是 Sigmoid 函数的输出,那么它的 Logit 值就是 Sigmoid 函数的输入;反过来,如果一个值经过 Sigmoid 得到概率,这个概率再经过 Logit 也可以回到原来的输入尺度。

可以用一句话概括二者关系:Logit 把概率拉回到实数空间,Sigmoid 把实数映射为概率。

方向输入输出作用
Logit概率 p几率对数从概率尺度转换到更适合建模的数值尺度
Sigmoid实数值0 到 1 之间的概率从模型数值转换为概率形式

在二分类模型中,这种互逆关系很重要。模型内部可以处理一个未必直接表现为概率的数值关系,而最终判断时又需要得到某类事件发生的可能性。Logit 和 Sigmoid 正好帮助理解这两个尺度之间的转换。

Logit 在逻辑回归中起什么作用?

逻辑回归是一种用于分类的模型,常用于解决二分类问题,例如结果为 0 或 1 的任务。虽然它的名称里有“回归”,但它通常用于估计某类事件发生的可能性,并据此完成分类判断,而不是输出连续数值预测。

从机器学习角度看,逻辑回归属于监督式机器学习中的分类算法,可用于预测离散或分类结果。它通过数学关系把输入因子与目标结果联系起来,并根据这种关系预测类别。

Logit 在这里的价值主要体现在概率解释上:

  • 逻辑回归关注某个事件发生的可能性;
  • 二分类问题需要把输入特征与“属于某类”或“不属于某类”联系起来;
  • Logit 和 Sigmoid 的互逆关系,可以帮助理解模型数值与概率输出之间的转换过程。

因此,学习逻辑回归时经常会遇到 Logit。它不是逻辑回归本身,而是理解概率、几率和分类判断之间关系的重要数学工具。

Logit、概率和逻辑回归有什么区别?

Logit、概率和逻辑回归经常一起出现,但它们不是同一层级的概念。

概念本质解决的问题与二分类的关系
概率对事件发生可能性的表示表示事件发生的可能性有多大可作为分类判断的依据之一
几率发生概率与不发生概率之比表示发生相对于不发生的相对强度帮助比较两种结果的相对倾向
Logit对几率取自然对数的函数或变换把概率转换为几率对数尺度帮助理解模型数值与概率之间的关系
Sigmoid与 Logit 互为反函数的函数把实数值转换为概率形式常用于理解分类模型的概率输出
逻辑回归监督式机器学习中的分类算法根据数据关系预测离散或分类结果常用于 0/1 二分类问题

可以把它们放在一个层次关系中理解:概率是结果表达,Logit 是概率变换,逻辑回归是使用相关数学关系进行分类预测的模型。对于初学者来说,先理解概率和几率,再理解 Logit 与 Sigmoid,最后再看逻辑回归,会更容易把这些概念串起来。

哪些场景需要理解 Logit?

理解 Logit 的价值不只在公式本身,更在于它能帮助读者看懂二分类模型中的概率转换和分类判断。

用户需求解决方式效果
机器学习入门通过 Logit 理解概率、几率和 Sigmoid 的关系更容易理解二分类模型如何把数值关系转为分类结果
学习逻辑回归将逻辑回归看作估计事件发生可能性的分类模型避免把“逻辑回归”误解为普通回归任务
做模型解释区分概率、几率、Logit 和最终分类判断能更清楚地解释某类事件为何更可能发生
数据分析建模理解模型如何根据因子之间的关系预测离散结果更好地选择和解释分类分析方法

在实际学习路径中,可以用下面的顺序检查自己是否理解到位:

  • 看到 p 时,先确认它表示事件发生概率;
  • 看到 p/(1-p) 时,理解它表示发生与不发生的几率;
  • 看到 ln(p/(1-p)) 时,知道它就是 Logit;
  • 看到 Sigmoid 时,知道它与 Logit 互为反函数;
  • 看到逻辑回归时,理解它是用于分类预测的模型,常用于二分类问题。