因子分析 factor analysis (五) ：因子得分

因子分析系列博文:

1．因子得分的概念

前面我们主要解决了用公共因子的线性组合来表示一组观测变量的有关问题。如果我们要使用这些因子做其他的研究，比如把得到的因子作为自变量来做回归分析，对样本进行分类或评价，这就需要我们对公共因子进行测度，即给出公共因子的值。

1.1 因子分析的数学模型

$\large \begin{bmatrix} X_{1}\\ X_{2}\\ \vdots \\ X_{p} \end{bmatrix}=\begin{bmatrix} a_{11} &a_{12} & ... &a_{1m} \\ a_{21} & a_{22} & ... &a_{2m} \\ \vdots & \vdots & & \vdots \\ a_{p1} & a_{p2}& ... & a_{pm} \end{bmatrix} \begin{bmatrix} F_{1}\\ F_{2}\\ \vdots \\ F_{m} \end{bmatrix}$

原变量被表示为公共因子的线性组合，当载荷矩阵旋转之后，公共因子可以做出解释，通常的情况下，我们还想反过来把公共因子表示为原变量的线性组合。

因子得分函数 $\large F_{j} =\beta _{j1}X_{1}+...+\beta _{jp}X_{p},\left (j=1,2,...,m \right )$ ;可见，要求得每个因子的得分，必须求得分函数的系数，而由于 p > m，所以不能得到精确的得分，只能通过估计。

2. 因子得分的估计

2.1 巴特莱特因子得分(加权小二乘法）

把 $\large x_{i}-\mu _{i}$ 看作因变量，把因子载荷矩阵（如下）

$\large \begin{bmatrix} a_{11} &a_{12} & ... &a_{1m} \\ a_{21} & a_{22} & ... &a_{2m} \\ \vdots & \vdots & & \vdots \\ a_{p1} & a_{p2}& ... & a_{pm} \end{bmatrix}$ 看成自变量的观测。

也即

由于特殊因子的方差相异，所以用加权小二乘法求得分。使 $\large \sum_{j=1}^{p}\left [\left ({x_{ij}-\mu_{i} \right )-\left ( a_{i1}\hat{f_{1}} +a_{i2}\hat{f_{2}} +...+ a_{im}\hat{f_{m}} \right ) \right ]^{2}/\sigma _{i}^{2}$ 最小的 $\large \hat{f_{1}}, ...,\hat{f_{m}}$ 是相应个案的因子得分。

用矩阵表达有 $\large x-\mu =AF + \varepsilon$ ,则要使 $\large \left ( x-\mu -AF \right )^{T} D^{-1}\left ( x-\mu -AF\right )$ 达到小，使其取得小值的F 是相应个案的因子得分。其中 $\large D=\begin{bmatrix} \sigma _{1}^{-2} & & \\ & \ddots \\ & & \sigma _{p}^{-2} \end{bmatrix}$ .

计算得F 满足 $\large A^{T}D^{-1}F=A^{T}D^{-1}A\left ( x-\mu \right )$ 解之得 $\large \hat{F}=\left ( A^{T}D^{-1}A \right )^{-1}A^{T}D^{-1}\left ( x-\mu \right )$ .

2.2 回归方法

下面我们简单介绍一下回归方法的思想。不妨设

则有 $\large \hat{F_{j} }=b _{j1}X_{1}+...+b _{jp}X_{p},\left (j=1,2,...,m \right )$

记

$\large \begin{bmatrix}b_{11} &b_{12} & ... &b_{1p} \\ b_{21} & b_{22} & ... &b_{2p} \\ \vdots & \vdots & & \vdots \\ b_{m1} & b_{m2}& ... & b_{mp} \end{bmatrix} = \begin{bmatrix} b_{1}\\ b_{2}\\ \vdots \\ b_{m} \end{bmatrix}$

$a_{ij} = E\left ( X_{i}F_{j}\right )=E\left [ X_{i} \left ( b_{j1}X_{1} +\cdots + b_{jp}X_{p} \right )\right ] = b_{j1}\gamma _{i1} +\cdots + b_{jp}\gamma _{ip} \! = \begin{bmatrix} \gamma _{i1} &\gamma _{i2} &\cdots &\gamma _{ip} \end{bmatrix}\begin{bmatrix} b_{j1}\\ b_{j2}\\ \vdots \\ b_{jp} \end{bmatrix}$

则我们有如下的方程组 :

$\large \begin{bmatrix} \gamma_{11} &\gamma_{12} & ... &\gamma_{1p} \\ \gamma_{21} & \gamma_{22} & ... &a_{2p} \\ \vdots & \vdots & & \vdots \\ \gamma_{p1} & \gamma_{p2}& ... & \gamma_ {pp} \end{bmatrix} \begin{bmatrix} b_{j1}\\ b_{j2}\\ \vdots \\ b_{jp} \end{bmatrix} =\begin{bmatrix} a_{1j}\\ a_{2j}\\ \vdots \\ a_{pj} \end{bmatrix}$ ; 其中 $\large \begin{bmatrix} \gamma_{11} &\gamma_{12} & ... &\gamma_{1p} \\ \gamma_{21} & \gamma_{22} & ... &a_{2p} \\ \vdots & \vdots & & \vdots \\ \gamma_{p1} & \gamma_{p2}& ... & \gamma_ {pp} \end{bmatrix}$ 、 $\large \begin{bmatrix} b_{j1}\\ b_{j2}\\ \vdots \\ b_{jp} \end{bmatrix}$ 、 $\large \begin{bmatrix} a_{1j}\\ a_{2j}\\ \vdots \\ a_{pj} \end{bmatrix}$ 分别为原始变量的相关系数矩阵，第 j 个因子得分函数的系数，载荷矩阵的第 j 列。用矩阵表示有 $\large \left [ b_{1}^{T} \: b_{2}^{T} ... \: b_{m}^{T}\right ] =R^{-1}A$ .