Bootstrap

【统计学习】相关性

介绍常见的相关系数和一致性检验

目录

一、相关性检验

Pearson相关系数

Spearman相关系数

Kendall's tau-b相关系数

Point-biserial相关

Somers' d

二、独立性检验

卡方检验(Chi-square test)

Fisher精确检验

条件独立性排列测试(KCIPT)

Cochran's Q检验

三、 一致性或可靠性检验

Kappa一致性检验

Kendall一致性检验

组内相关系数(ICC)


相关性(Correlation)是统计学中用来量化两个变量之间关系强度和方向的度量。

一、相关性检验

Pearson相关系数

适用于两个连续变量的线性相关性分析

Pearson相关系数的计算要求两个变量都是连续的,数据分布是双变量正态分布,即两个变量的联合分布是多元正态分布,两个变量之间的关系是线性的

Pearson相关系数的取值范围在-1到1之间。当𝑟接近1时,表示变量𝑋和𝑌之间存在强正线性关系。当r接近-1时,表示变量𝑋和𝑌之间存在强负线性关系。当𝑟接近0时,表示变量𝑋和𝑌之间没有显著的线性关系。

Spearman相关系数

适用于两个有序分类变量或非正态分布的连续变量的相关性分析。

Spearman相关系数的取值范围也是从-1到1,接近1时,表示变量𝑋和𝑌之间存在强正单调关系。当𝑟𝑠​接近-1时,表示变量𝑋和𝑌之间存在强负单调关系。当𝑟𝑠​接近0时,表示变量𝑋和𝑌之间没有显著的单调关系。

Spearman相关系数的优点是它不依赖于数据的具体数值,而是依赖于数据的等级顺序,因此它对异常值和非正态分布的数据具有较好的鲁棒性。

Kendall's tau-b相关系数

适用于有序分类变量或非正态分布的连续变量的相关性分析,对异常值不敏感。

Kendall's tau-b相关系数的取值范围在-1到1之间:当接近1时,表示变量𝑋和𝑌之间存在强正相关性。当接近-1时,表示变量𝑋和𝑌之间存在强负相关性。​接近0时,表示变量𝑋和𝑌之间没有显著的相关性。

Kendall's tau-b相关系数的优点是它对样本中的极端值或异常值不敏感,并且它不需要数据满足正态分布。此外,它也适用于样本量较小的数据集。

Point-biserial相关

用于分析二分类变量和连续变量之间的相关性。

接近1时,表明存在正相关。接近-1时,表明存在负相关。接近0时,表示两个变量之间没有显著的相关性。

Somers' d

用于评估两个有序分类变量之间的单调相关性。与Spearman相关系数类似,Somers' d不要求数据服从正态分布,但它专门用于分析有序分类数据的相关性,尤其是在一个变量是二分类而另一个变量是有序分类时。

接近1时,表明存在强正单调关系。接近-1时,表明存在强负单调关系。接近0时,表示两个变量之间没有显著的单调关系。

Somers' d检验的一个优势是它提供了一个量度两个有序分类变量之间相关性的指标,而不需要这些变量是连续的或服从正态分布。此外,它对于数据中的异常值也具有一定的鲁棒性。

二、独立性检验

卡方检验(Chi-square test)

检验两个分类变量是否相互独立。

卡方检验(Chi-square test)的显著性水平通常用𝑝值来表示,它反映了在零假设(两个变量独立)为真的情况下,观察到当前或更极端情况的概率。𝑝值的计算基于卡方分布。

如果𝑝≤𝛼,我们拒绝零假设,认为两个变量之间存在统计学上的显著关联。反之接受。

Fisher精确检验

适用于小样本数据的分类变量独立性检验。Fisher精确检验不依赖于样本数据的正态分布或大样本理论,因此它适用于样本量较小的情况,特别是当列联表中某个单元格的期望频数小于5时。

如果 𝑝值小于显著性水平(例如0.05),则拒绝零假设,认为两个变量之间存在显著关联。否则关联不显著。

与卡方检验不同,Fisher精确检验基于超几何分布,不需要近似。且特别适用于列联表中某些单元格的期望频数小于5的情况。

条件独立性排列测试(KCIPT)

检验两个变量在给定一个或多个条件变量的情况下是否独立。

用于检验在给定一个或多个条件变量(变量集S)的情况下,两个变量X和Y之间是否独立。这种测试方法特别适用于高维数据和复杂变量类型的情况,包括连续和分类变量。

Cochran's Q检验

用于比较三个或更多个分类变量的分布是否存在显著差异。

观测变量是二分类的,通常表示为0和1。

通过统计量Q的分布来确定p,如果 𝑝值小于显著性水平(例如0.05),则拒绝零假设,认为至少两组之间存在差异。

三、 一致性或可靠性检验

Kappa一致性检验

Kappa一致性检验(Cohen's Kappa)是一种用于评估两个评估者(或两个分类系统)对分类数据一致性的统计方法。它比简单的百分比一致性提供了更严格的评估,因为它考虑了评估者之间可能存在的随机一致性。

当 𝜅=1时,表示完美一致性。当 𝜅=0时,表示一致性与随机一致性相同

当 𝜅<0时,表示一致性低于随机水平,这通常表明评估者之间的系统性差异。

Kendall一致性检验

是用于评估多个评估者或多个变量之间对分类数据一致性的非参数统计方法。Kendall W系数主要用于评估多个评估者对一组项目进行排序时的一致性程度。

Kendall W系数基于排名的一致性,它考虑了所有评估者对所有项目排名的一致性。如果所有评估者的排名完全一致,Kendall W系数为1;如果排名完全随机,Kendall W系数接近0。

组内相关系数(ICC)

组内相关系数(Intraclass Correlation Coefficient, ICC)是一种统计量,用于衡量相同受试者或物体在不同时间点或不同条件下测量结果的一致性或可靠性。它广泛应用于评估测量方法的稳定性,例如,当同一对象被多次测量或由不同的评估者进行测量时。

ICC提供了一个量化指标,反映了测量结果中可归因于受试者之间差异的方差与总方差的比例。如果ICC值接近1,则表示测量结果具有很高的一致性;如果ICC值接近0,则表示测量结果的一致性较低。

ICC的计算公式有多种,取决于研究设计和数据结构。

;