奇异值分解和主成分分析

1 矩阵乘法的几何意义

正交矩阵：可以理解为旋转，因为模不变

对角矩阵：维度伸缩（不为0的部分），维度压缩（为0的部分）

2 特征值分解和奇异值分解

特征值分解：

$$A=U\Sigma U^T$$

奇异值分解：

$$A=U\Sigma V^T$$

3 主成分分析

数据矩阵：$X$，维度 $m\times n$，$m$ 是数据维度，$n$ 是数据样本数

目标：寻找一个矩阵 P，使得 $Y=PX$ 的协方差矩阵对角化（也就是找到源数据在新成分的作用下尽可能线性无关），$YY^T$ 对角化

对 $X$ 奇异值分解:

$$X=U\Sigma V^T$$

可以找到 $P=U^T$，使得：

$$Y= U^T X = \Sigma V^T$$

$YY^T = \Sigma\Sigma^T$

也可以从特征值分解的角度来理解：

$$XX^T=P^T(YY^T)P$$

由于 $YY^T$ 需要是一个对角矩阵，根据特征值分解可以求得

降维

为了只取前 L 个主成分（也就是把原数据映射到 L 维的向量空间中），可以对 $U$ 取前 L 列 $U_L$，或者对 $\Sigma$ 取前 L 行 $\Sigma_L$，则：

$$Y={U_L}^TX=\Sigma_LV^T$$