Eigenvalue

前言 前两篇讲了向量和矩阵。这一篇回答一个更深刻的问题：矩阵这个变换，有没有"主轴"？ 沿着某个方向，变换可能只是单纯地拉伸（方向不变、长度变）；沿着另一个方向，可能完全不动。抓住这些"不改变方向"的方向，矩阵的行为就一目了然了。 这就是特征值与特征向量的思想。它在深度学习里极其重要——梯度消失/爆炸、LoRA、PCA、甚至注意力里的缩放，背后都有它的影子。 特征值与特征向量 定义 对 $n \times n$ 矩阵 $A$，如果存在非零向量 $v$ 和标量 $\lambda$ 使得： $$ Av = \lambda v $$则 $\lambda$ 称为 $A$ 的特征值，$v$ 是它对应的特征向量。 几何意义：$v$ 是变换 $A$ 的"主轴"方向——被 $A$ 作用后方向不变，只是长度缩放 $\lambda$ 倍。$\lambda > 1$ 拉伸，$0 < \lambda < 1$ 压缩，$\lambda < 0$ 反向。 如何求特征值 把定义移项：$(A - \lambda I)v = 0$。非零解存在的条件是矩阵不可逆，即： $$ \det(A - \lambda I) = 0 $$这就是特征多项式，是 $\lambda$ 的一个 $n$ 次多项式，有 $n$ 个根（计重数）。 例：求 $A = \begin{bmatrix} 2 & 1 \\ 1 & 2 \end{bmatrix}$ 的特征值与特征向量。 ...