Cosine Similarity 原理详解:向量相似度入门

Cosine Similarity 是用向量夹角余弦值衡量相似度的方法。它关注方向而非长度,适合理解文本相似度、推荐系统相似匹配,以及高维数据中的方向比较。

Cosine Similarity 原理详解:向量相似度入门

什么是 Cosine Similarity?

Cosine Similarity 通常译为余弦相似度,是一种根据两个数据点或向量所指方向判断相似程度的方法。它也常被解释为:测量两个非零向量夹角的余弦值,并用这个值表示向量之间的相似性。

在实际任务中,文本、用户、物品或资料点通常需要先被表示成向量。只有当对象处在同一个向量空间中,才可以进一步讨论它们的方向是否接近、相似度是否较高。

要点: 余弦相似度比较的是“方向是否相近”,不是直接比较两个对象的原始内容,也不是只看数值大小。

余弦相似度为什么看方向而不是长度?

余弦相似度的核心特点是关注向量方向,而不是向量的长度或大小。也就是说,两个向量即使长度不同,只要它们在空间中的指向接近,也可能被认为具有较高相似性。

可以用一个简单类比理解:两个人走路的步幅可能不同,但如果前进方向几乎一致,就可以说他们的行动方向相近。对应到向量空间中,长度更像规模或强度,方向则更接近“模式”“语义”或“偏好”的相近程度。

这种方向视角在高维空间中尤其常见。对于高维数据,传统基于距离的度量有时难以发挥理想效果,因此余弦相似度常被作为衡量相似性的可选方法。

向量夹角余弦值如何表示相似程度?

余弦相似度通过两个向量夹角的余弦值来表达相似程度。夹角越小,两个向量方向越接近;当两个向量夹角为 0 度时,余弦值为 1,表示方向完全一致。

从取值范围看,余弦值最大不超过 1,最小值为 -1。可以先用下面的表格建立直觉:

余弦值向量方向关系基本含义
1夹角为 0 度方向完全一致,相似度达到该度量下的最大值
接近 1方向接近两个向量在方向上较相似
接近 -1方向相反两个向量方向差异较大

需要注意的是,分数本身只说明向量方向关系。它是否足以判断两个对象“相似”,还要结合向量如何构造以及具体业务场景。

余弦相似度的常见计算思路

余弦相似度的常见公式表达是:两个向量的点积,除以两个向量长度的乘积。

用 A 和 B 表示两个向量时,可以写成:cos(θ) = A·B / (||A|| × ||B||)。其中,θ 表示两个向量之间的夹角。

这个公式可以拆成三个部分理解:

组成部分含义在相似度计算中的作用
点积 A·B两个向量对应维度相乘后求和反映两个向量在方向上的共同变化
向量长度A
除以长度乘积对点积进行归一化将比较重点转向方向是否接近

余弦相似度通常用于两个非零向量之间,因为它衡量的是向量夹角的余弦值。如果向量没有有效方向,就不适合直接用夹角来解释相似程度。

余弦相似度和距离度量有什么区别?

余弦相似度与距离度量的差异,主要在于比较目标不同。余弦相似度更关注方向相近程度,而常见距离度量通常更关注点与点之间的远近。

对比维度余弦相似度距离度量
关注对象向量方向是否接近数据点之间的空间距离
是否强调长度不直接以长度或大小作为核心判断依据往往会受到坐标差异和距离大小影响
高维空间中的使用理由可用于方向相似性判断在高维空间中,传统基于距离的度量可能难以奏效
典型任务文本相似度、文档相似性、推荐匹配需要直接衡量空间远近的任务

这并不意味着余弦相似度一定优于距离度量。更准确的理解是:当任务更关心“模式是否一致”或“方向是否相近”时,余弦相似度更容易成为候选方法;当任务更关心绝对位置或数值距离时,距离度量仍可能更合适。

余弦相似度常见应用场景

余弦相似度常用于评估文本或资料点之间的相似程度,也常见于文本挖掘和推荐系统。它的使用前提通常是:先把对象转换为向量,再比较向量方向。

场景用户需求解决方式可得到的结果
文本相似度判断两段文本或两个资料点是否相近将文本表示为向量后计算余弦相似度得到方向层面的相似性分数
文本挖掘度量文档之间的相似性比较文档向量的夹角余弦值辅助相近内容发现、聚类或检索理解
推荐系统判断用户、物品或文档之间是否相似用向量表示对象,再计算相似度支持相似用户、相似物品或相似内容匹配

在这些场景中,余弦相似度本身只负责度量相似性。最终如何设置阈值、如何排序、如何解释结果,仍需要结合向量表示方式和具体任务目标。

理解余弦相似度结果时需要注意什么?

余弦相似度反映的是方向相似,不直接等同于数量规模接近。两个向量长度差异明显时,只要方向接近,仍可能得到较高相似度;反过来,长度相近也不必然意味着方向相似。

解读分数时可以遵循三个原则:

  • 先看取值范围: 余弦值不大于 1,最小值为 -1,1 表示方向完全一致。
  • 再看向量表示: 同一个分数在不同向量构造方式下,含义可能不同。
  • 最后看业务场景: 文本相似度、推荐系统相似度和资料点相似度,对“足够相似”的判断标准可能不同。

要点: 余弦相似度是一个相似性度量,不是完整的业务判断规则。它适合回答“向量方向是否接近”,但最终结论应结合任务目标和数据表示方式。