批梯度下降法(Gradient Descent)
正規(guī)方程法(Normal Equation)
| 批梯度下降 | 正規(guī)方程 | |
|---|---|---|
| 學(xué)習(xí)速率 | 需要設(shè)置 | 不需要 |
| 計算次數(shù) | 需要多次迭代 | 不需要迭代 |
| 時間復(fù)雜度 | O (kn2) | O (n3) 需要計算 XTX |
| 特征數(shù)量 | 即使n很大也能工作 | 如果n很大會很慢 |
總結(jié)：
- 如果特征值小于10k誓篱，或者100k仅孩，正規(guī)方程會是一個非常簡便高效的方法利术。
否則邦鲫，正規(guī)方程的計算時間將會變的非常巨大，還是使用批梯度下降法比較好杈抢。 - 正規(guī)方程支持的算法不是很多数尿，批梯度下降法幾乎支持主流的方法。
所以惶楼，出于學(xué)習(xí)目的右蹦，兩個方法都是值得的。
