自学内容网 自学内容网
自学内容网 > 正文

基向量和投影矩阵

🕗 发布于 2024-09-24 16:06 矩阵  线性代数  

文章目录

1. 投影向量

假设我们有一个向量b和一个向量q,求向量b在向量q上的投影向量p:
在这里插入图片描述

  • 求向量p的长度：
    q T b = ∣ q ∣ ⋅ ∣ b ∣ ⋅ cos ⁡ θ → ∣ p ∣ = ∣ b ∣ ⋅ cos ⁡ θ = q T b ∣ q ∣ \begin{equation} q^Tb=|q|\cdot |b|\cdot\cos\theta\to |p|=|b|\cdot\cos\theta=\frac{q^Tb}{|q|} \end{equation} qTb=∣q∣⋅∣b∣⋅cosθ→∣p∣=∣b∣⋅cosθ=∣q∣qTb​​​
  • 求向量p
    p = ∣ p ∣ ⋅ q ∣ q ∣ = q T b ∣ q ∣ ⋅ q ∣ q ∣ = q T b q q T q = q q T q T q b \begin{equation} p=|p|\cdot\frac{q}{|q|}=\frac{q^Tb}{|q|}\cdot\frac{q}{|q|}=\frac{q^Tbq}{q^Tq}=\frac{qq^T}{q^Tq}b \end{equation} p=∣p∣⋅∣q∣q​=∣q∣qTb​⋅∣q∣q​=qTqqTbq​=qTqqqT​b​​
  • 投影矩阵P:
    P = q q T q T q , p = P b , r a n k ( P ) = 1 \begin{equation} P=\frac{qq^T}{q^Tq},p=Pb,\mathrm{rank(P)}=1 \end{equation} P=qTqqqT​,p=Pb,rank(P)=1​​
  • 假定向量q为单位向量， q T q = 1 q^Tq=1 qTq=1,则投影向量P：
    P = q q T q T q = q q T , q T q = 1 , p = q q T b \begin{equation} P=\frac{qq^T}{q^Tq}=qq^T,q^Tq=1,p=qq^Tb \end{equation} P=qTqqqT​=qqT,qTq=1,p=qqTb​​
  • 结论，当向量q为单位向量时，向量b在向量q上的投影p表示如下，并且我们可以看到投影平面P是由向量q组成的秩1平面，p为向量b在投影平面P= q q T qq^T qqT的投影向量
    p = q q T b \begin{equation} p=qq^Tb \end{equation} p=qqTb​​

2. 基向量，列向量秩1分解

假设我们向量b是由一组线性无关单位向量 x 1 , x 2 , ⋯   , x k x_1,x_2,\cdots,x_k x1​,x2​,⋯,xk​线性组合，可得如下：
b = x 1 q 1 + x 2 q 2 + ⋯ + x k q k , q i T q i = 1 , q i T q j = 0 , i ≠ j \begin{equation} b=x_1q_1+x_2q_2+\cdots+x_kq_k,q_i^Tq_i=1,q_i^Tq_j=0,i\neq j \end{equation} b=x1​q1​+x2​q2​+⋯+xk​qk​,qiT​qi​=1,qiT​qj​=0,i=j​​

  • 两边同时乘以 q 1 T q_1^T q1T​可得：
    q 1 T b = x 1 q 1 T q 1 + x 2 q 1 T q 2 + ⋯ + x k q 1 T q k = x 1 \begin{equation} q_1^Tb=x_1q_1^Tq_1+x_2q_1^Tq_2+\cdots+x_kq_1^Tq_k=x_1 \end{equation} q1T​b=x1​q1T​q1​+x2​q1T​q2​+⋯+xk​q1T​qk​=x1​​​
  • 可得： x k = q k T b x_k=q_k^Tb xk​=qkT​b,注为标量，位置随意放,代入原方程可得：
    b = q 1 q 1 T b + q 2 q 2 T b + ⋯ + q k q k T b \begin{equation} b=q_1q_1^Tb+q_2q_2^Tb+\cdots+q_kq_k^Tb \end{equation} b=q1​q1T​b+q2​q2T​b+⋯+qk​qkT​b​​
  • 重点，思路一：
    对于给定向量b来说，如果想用基向量表示 x 1 , x 2 , ⋯   , x k x_1,x_2,\cdots,x_k x1​,x2​,⋯,xk​,只需要将向量b分别投影到不同的平面上即可，这样就可以将向量b用基向量表示；这个就是我们的谱定理
  • 重点，思路二：
    可以把向量b比作一道自然光， x 1 , x 2 , ⋯   , x k x_1,x_2,\cdots,x_k x1​,x2​,⋯,xk​比作一个单色光，而谱分解就相当于一个多棱镜，我们只需要将光b投影到不同单色光的纸上，得到其成分即可。
    在这里插入图片描述

3. SVD，奇异向量秩1分解

特征值分解和奇异值分解的不同在于，特征值分解通常需要矩阵A为方阵，而奇异值分解可以对在矩阵为任意大小矩阵即可。
A = U Σ V T \begin{equation} A=U\Sigma V^T \end{equation} A=UΣVT​​

  • 假设矩阵A的秩为r，可以分解如下：
    在这里插入图片描述
    在这里插入图片描述
  • 那么矩阵A可以按照奇异值分解如下：
    A = σ 1 u 1 v 1 T + σ 2 u 2 v 2 T + ⋯ + σ r u r v r T \begin{equation} A=\sigma_1u_1v_1^T+\sigma_2u_2v_2^T+\cdots+\sigma_ru_rv_r^T \end{equation} A=σ1​u1​v1T​+σ2​u2​v2T​+⋯+σr​ur​vrT​​​
  • 我们来看 u 1 v 1 T u_1v_1^T u1​v1T​，这个本质上还是秩1矩阵，并且 u 1 u_1 u1​在矩阵A的列空间中， v 1 v_1 v1​在矩阵A的行空间中，且每一个 u 1 v 1 T u_1v_1^T u1​v1T​的大小为 m × n m\times n m×n，跟矩阵A的大小一样
  • 在等式左右同时乘以x，大小为 n × 1 n\times 1 n×1可得：
    A x = σ 1 u 1 v 1 T x + σ 2 u 2 v 2 T x + ⋯ + σ r u r v r T x \begin{equation} Ax=\sigma_1u_1v_1^Tx+\sigma_2u_2v_2^Tx+\cdots+\sigma_ru_rv_r^Tx \end{equation} Ax=σ1​u1​v1T​x+σ2​u2​v2T​x+⋯+σr​ur​vrT​x​​
  • 那么Ax可以理解为向量x在r个有 u i v i T u_iv^T_i ui​viT​组成的平面上的投影和。

4. 小结：

  • 特征向量分解
    将矩阵A按照特征向量进行分解为秩为1的平面秩1矩阵，且平面矩阵秩1矩阵是由列向量组成的。
    而列向量是来自列空间，可以在机器学习中以样本的形式表示。列空间的基向量是可以看做一个想本的配方。
    – Ax可以看做是向量x在样本空间上的投影和
  • 奇异值分解
    将矩阵A按照奇异值向量分解为秩为1的平面秩1矩阵，而平面矩阵秩1矩阵是由列向量+行向量组成的。而u列向量来自列空间，v行向量来自行空间。
    – Ax可以看做是向量x在样本空间+特征空间的投影和
  • 那么从投影的角度来看，奇异向量组成的平面秩1矩阵得到的信息更加丰富。

5. 图解分析

在这里插入图片描述


原文地址：https://blog.csdn.net/scar2016/article/details/142375270

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

相关文章

自学内容网
Copyright © 2015-2024