【笔记】普通交叉验证 (CV) ，广义交叉验证(GCV)，图像恢复正则化参数选择

开始的疑问是，如果考虑的问题是形如

$\min_x\|y-x\|_2^2+\lambda\|x\|_2$

的去噪问题，那么能用CV的方法来选择最优参数吗，假设取90%的数据作为训练集，在训练集上应该只能得到这90%的数据所对应的估计x，那要怎么得到测试集数据的估计？直觉是这样的模型是不能用CV选择参数的，但之前听说在图像恢复问题中是可以用GCV来选择参数的，所以一直对这个参数选择过程存在一些疑惑. 这次仔细看了下几篇文章，发现CV方法确实是不适用于上述问题的，但GCV貌似是可以的，不过仅从给出的公式来看并不能得到这个结论，所以GCV到底能不能用还得再仔细分析一下，以后有时间再看吧. 在图像恢复问题中，如果模糊算子H不是对角的，GCV和CV应该都是适用的.

普通交叉验证[1,2]：

考虑多元线性回归

$y=X\beta+\varepsilon$

$y \in R^n$ 是响应变量， $X\in R^{n\times p}$ 已知， $\varepsilon \in R^p$ 是白噪声，考虑如下最小化问题：

$\min\limits_{\beta} \|y-X\beta\|_2^2+\lambda\|\beta\|_2^2$

则有 $\beta$ 的估计

【笔记】普通交叉验证 (CV) ，广义交叉验证(GCV)，图像恢复正则化参数选择

普通交叉验证[1,2]：

悦读