自学内容网 自学内容网

20241230 基础数学-线性代数-(1)求解特征值(numpy, scipy)

所有代码实现,基于教程中的理论通过python实现出来的。效率不高,但有代码可以看。

由于scipy/sckitlearn/sparkx 底层的实现都被封装了(小白兔水平有限,fortran代码实在没看懂)这里的实现至少可以和理论公式对应的上。

1. 求特征值和特征向量

这是后面解线性方程的基础。解方程及拆分过程依赖eigVal,eigVec,很重要。

基本的解析法很好理解,所有的教程都有介绍。但是工程实现numpy等都是用的其他数值求解方法,这里实验了QR方法(水平有限,是最基础的QR),证明QR方法不难实现,并且有更多方法优化可以提高QR的数值稳定性和收敛效率(水平有限,placeholder,given旋转等,未研究)。

解析解析数值
eigpolynomial*symmetric matrix
lanrange multiples 
*symmetric matrix
QR Iteration
算法det(A-lambda*E)=0

解lambda的n次方程, 对应每个eigval[*]解齐次方程。
基于对称矩阵转标准二次型原理,A= (PN...P1) D (P1.T ... PN.T)

eigVec=(PN...P1)
eigVal=D
1. 将A=QR,Q为规范正交矩阵,R为A在这个矩阵上的投影系数。
2. AK=RQ, 迭代k次,
Q.T A= R,
A1= Q.T A Q; 
...
Q1.T A1= R1;
A2= Q1.T A1 Q1 = Q1.T Q.T A Q Q1
...
AK = (QK.T ... Q.T) A (Q ... QK )
//AK 就是特征值对角矩阵, Q...QK 就是特征向量
//AK为什么会收敛为对角矩阵,待研究//TODO

eigVec=(PN...P1)
eigVal=D
PYTHONE00_eigVal_by_polynomial.pyP00_lagrange_mul_resolver00.pyE01_eigVal_by_qr_mm.py

//*没有完全解决数值稳定性问题,devide0 等等;[URL]有大神写了QR算法文章,有更优的算法。

参考代码

​​​​​​参考代码: AITutorial02: AI初学,AI幼儿园练习



 

写在最后

* 线性代数理论及证明过程请参考教材。公式推理可以参考AI。感谢数学大师们。感谢《学兔兔》网。


原文地址:https://blog.csdn.net/weixin_46449024/article/details/144677488

免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!