Linear Algebra

Basics

矩阵表示线性映射。

---

线性方程组 Ax = b 对任意向量 $\vec{b}$：

• 有唯一解：矩阵 A 可逆 (invertible)，$x = A^{-1} \vec{b}$
• 无解：

---

矩阵 $A$ = ($\vec{u}$, $\vec{v}$, $\vec{w}$)

若 $A$ 可逆，则

• $\vec{u}$, $\vec{v}$, $\vec{w}$ 的全部线性组合是整个 3 维空间。
• 向量 $\vec{u}$, $\vec{v}$, $\vec{w}$ 线性无关 (linearly independent)。相应地，$Ax = \vec{0}$ 只有零解。

否则，$\vec{0}$ 可以写成 $\vec{u}$, $\vec{v}$, $\vec{w}$ 的多种线性组合。称矩阵 $A$ 奇异 (singular)，向量 $\vec{u}$, $\vec{v}$, $\vec{w}$ 线性相关。

总结：
若方阵 $A$ 的列向量线性无关，则 $A$ 可逆，$Ax = \vec{0}$ 只有零解；
若方阵 $A$ 的列向量线性相关，则 $A$ 奇异，$Ax = \vec{0}$ 有无穷多解。

---

秩 (rank)

正交矩阵 $AA^T = I$

15. MIT 线性代数—投影 - 知乎

矩阵分解

特征分解

$Av = \lambda v$
证明：特征值之和等于迹，特征值之积等于行列式 - 知乎

$A = V diag(λ) V^{−1}$

SVD 分解

$A = U \Sigma V^\mathrm T$

PCA

CodingLabs - PCA 的数学原理

[[概率论 revisted#统计量]]
协方差矩阵对角化

$$ Y=PX $$

$$
\begin{array}{l l l}
D & = & \frac{1}{m}YY^\mathsf{T} \
& = & \frac{1}{m}(PX)(PX)^\mathsf{T} \
& = & \frac{1}{m}PXX^\mathsf{T}P^\mathsf{T} \
& = & P(\frac{1}{m}XX^\mathsf{T})P^\mathsf{T} \
& = & PCP^\mathsf{T}
\end{array}
$$

二次型