荊諍2021-01-05 14:44:34

特徵值分解和奇異值分解（SVD）在主成分分析（PCA）和機器學習領域都有廣泛的應用。PCA的實現由兩種方法，一種是特徵值分解，另一種是奇異值分解，特徵值分解和奇異值分解的目的是一樣的，都是提取出一個矩陣最重要的特性。

特徵值

線性代數中對特徵值和特徵向量的定義：設A是n階方陣，如果存在 λ 和n維非零向量x，使 Ax=λx，則 λ 稱為方陣A的一個特徵值，x為方陣A對應於或屬於特徵值 λ 的一個特徵向量。從定義可以看出，對特徵向量x進行A變換的實質是將特徵向量進行縮放，縮放因子為特徵值λ。因此，特徵向量的代數上含義是：將矩陣乘法轉換為數乘操作；特徵向量的幾何含義是：特徵向量透過方陣A變換隻進行伸縮，而保持特徵向量的方向不變。特徵值表示的是這個特徵到底有多重要，類似於權重，而特徵向量在幾何上就是一個點，從原點到該點的方向表示向量的方向。

一個變換方陣的所有特徵向量組成了這個變換矩陣的一組基。所謂基，可以理解為座標系的軸。我們平常用到的大多是直角座標系，線上性代數中可以把這個座標系扭曲、拉伸、旋轉，稱為基變換。我們可以按需求去設定基，但是基的軸之間必須是線性無關的，也就是保證座標系的不同軸不要指向同一個方向或可以被別的軸組合而成，否則的話原來的空間就“撐”不起來了。從線性空間的角度看，在一個定義了內積的線性空間裡，對一個N階對稱方陣進行特徵分解，就是產生了該空間的N個標準正交基，然後把矩陣投影到這N個基上。N個特徵向量就是N個標準正交基，而特徵值的模則代表矩陣在每個基上的投影長度。特徵值越大，說明矩陣在對應的特徵向量上的方差越大，功率越大，資訊量越多。總結一下，特徵值分解可以得到特徵值與特徵向量，特徵值表示的是這個特徵到底有多重要，而特徵向量表示這個特徵是什麼，可以將每一個特徵向量理解為一個線性的子空間，我們可以利用這些線性的子空間幹很多的事情。不過，特徵值分解也有很多的侷限，比如說變換的矩陣必須是方陣。