Bootstrap

关于多维高斯随机变量的信息矩阵与协方差矩阵的关系

假设 n n n 维高斯随机变量
X ∼ N ( μ , Σ ) X \sim N(\mu, \Sigma) XN(μΣ)其概率密度函数为:
f X ( x ) = α e − 1 2 [ ( x − μ ) T Σ − 1 ( x − μ ) ] (1) \tag 1 f_X(x) =\alpha e^{-\frac 1 2 [ ( x - \mu) ^ T \Sigma^{-1} (x - \mu)]} fX(x)=αe21[(xμ)TΣ1(xμ)](1)其中 α \alpha α是归一化因子。

根据Wikipedia对Fisher Information的定义,
[ I ( θ ) ] i , j = − E X [ ∂ 2 ∂ θ i ∂ θ j l o g f X ( x ; θ ) ∣ θ ] (2) \tag 2 [\Iota(\theta)]_{i,j} = - E_X[\frac {\partial^2} {\partial {\theta_i} \partial \theta_j}log f_X(x;\theta) | \theta] [I(θ)]i,j=EX[θiθj2logfX(x;θ)θ]

;