某某机械设备有限公司欢迎您!

如何证明奇异值分解SVD?

时间:2020-03-15

  很久没关注数学了,最近突然又看到这个问题,想起来以前研究这个问题的时候也是花了很多时间,网上搜的答案大多都是从纯线性代数的角度来分析的,既不便于理解也不方便应用。这里我从几何空间的角度给下思路。

  奇异值分解(Singular Value Decomposition),又叫酉相抵标准型定理,是线性代数中一种重要的矩阵分解方法,因为它对矩阵形态的要求不像特征分解那样严格,因而在算法中有着广泛的使用。 这里对这个定理进行证明。

  事先说明:为了方便部分同学理解,这一部分我们仅使用实数域上的线性代数,一般来说已经足够了;如果你还想了解更多,自行搜索它在复数域上的推广——酉相抵标准型定理,完全类似。

  奇异值分解的证明证明的方法有很多种,为了直观起见,我们从几何角度思考。定理是这样说的:

  我们已经知道,任何一个实矩阵, 都一一对应于从空间到空间中的一个线性映射:

  这里不是一个方阵,处理起来不太方便。一个常用的方法是考虑方阵,它表示空间到自身的一个线性变换:

  这里是对角阵,是正交矩阵,,而是的对应于特征值的特征向量,构成了空间中的一组标准正交基。

  设,根据线性映射像与核之间的关系,中有个向量刚好构成的一组部分基,其余则对应于零向量。

  $注1:从上述推导过程可以看出,所谓奇异值分解,就是揭示了一般意义上两个不同维度的线性空间之间进行线性映射前后的基之间的变换关系。任意的矩阵是可以分解成三个矩阵。表示了原始域的标准正交基表示经过变换后的co-domain的标准正交基,表示了中的向量与中相对应向量之间的关系。

  $注2:对于定义域和值域都是同一个空间的情形,此时一般意义上的线性映射退化为常见的线性变换,成为方阵并且是规范方阵(),奇异值分解也等同于特征值分解,并且奇异值就是特征值。

  $注3:奇异值分解是有用的。特别是当mn时,此时由于像空间的维数要低于原空间的维数,我们据此构造一个简单的映射, 使得原空间的维数塌陷,达到降维的目的,以简化数据的处理(主成分分析)。这时,第个奇异值还反映了变换后第个维度上的分量对数据总信息量的贡献程度。