- 數(shù)據(jù)集：訓練集+驗證集+測試集
- 交叉驗證：當訓練數(shù)據(jù)太小時歹垫，為了更好地利用數(shù)據(jù)剥汤，那么將訓練數(shù)據(jù)集劃分成n份，其中n-1份作為訓練集排惨，用剩下的一份做驗證吭敢，這樣可以通過改變不同的訓練集和驗證集來得到最好的訓練效果
- 近鄰法：傳統(tǒng)的knn， ANN暮芭， kd樹鹿驼，見文章《高維數(shù)據(jù)的快速最近鄰算法》(search with baidu)
- 訓練技巧：正則化欲低，如果knn訓練太慢則考慮使用ann， 維度太高可以用pca降維
線性函數(shù)做圖像的分類：
- knn的缺陷：測試的時候需要讓測試數(shù)據(jù)與所有的訓練數(shù)據(jù)進行距離的計算蠢沿，這樣影響測試效率同時由于要存儲訓練數(shù)據(jù)伸头，因此對內(nèi)存的壓力很大
只要訓練出W便可以用W去做分類了。常用的線性分類器有兩種SVM和softmax
SVM-support vecter machine
SVM的損失函數(shù)
 +R(\omega))
softmax
softmax損失函數(shù)
)
sigmoid 激活函數(shù)的缺陷：：
- 梯度 在兩頭幾近于零舷蟀，導致后期梯度消失
- 得到的梯度都是正的
tanh激活函數(shù)的缺陷：
- 梯度 在兩頭幾近于零恤磷，導致后期梯度消失
