這一篇寫(xiě)給自己懒豹，想把這個(gè)博客好好寫(xiě)下去。 之前機(jī)器學(xué)習(xí)系列會(huì)繼續(xù)寫(xiě)下去驯用， 后面打算寫(xiě)一些推薦系統(tǒng)相關(guān)的內(nèi)容脸秽，接下來(lái)是EM算法，以及EM的應(yīng)用例子...

這一篇開(kāi)始介紹XGBoost蝴乔。 和GBDT不同记餐， XGBoost不僅僅使用了一階梯度， 還使用了二階梯度薇正。同時(shí)增加了正則化片酝。 第m步的損失函數(shù)：...

這一篇開(kāi)始講GBDT(梯度提升決策樹(shù))， 根據(jù)上一篇可知铝穷，該模型每次學(xué)習(xí)的是損失函數(shù)的負(fù)梯度钠怯。所以基模型是回歸樹(shù)（因?yàn)槊看味荚跀M合一個(gè)確定的值，...

這一篇曙聂， 我們希望提升模型的性能晦炊， 除了更多的數(shù)據(jù)，更好的EDA等宁脊，集成學(xué)習(xí)可以從模型的角度提升模型的學(xué)習(xí)性能断国，即將基模型組合成一個(gè)大模型。 在...

這一篇繼續(xù)boosting榆苞，介紹一下提升樹(shù)算法稳衬， 提升樹(shù)以決策樹(shù)為基模型， 依然是加法模型坐漏，優(yōu)化算法是前向分步算法薄疚。 針對(duì)分類(lèi)問(wèn)題， 決策樹(shù)是二...

這一篇開(kāi)始介紹Boosting赊琳，我們先介紹Boosting中的第一個(gè)模型街夭， AdaBoost, 二分類(lèi)學(xué)習(xí)模型 AdaBoost的基本原理，是每...

這一講要開(kāi)始講SVM(Support Vector Machine)了，在深度學(xué)習(xí)流行以前砚殿，SVM占據(jù)著很重要的位置啃憎，它的理論推導(dǎo)是非常優(yōu)美的。...

前面若干篇幅瓮具， 主要講了線(xiàn)性分類(lèi)器荧飞， 這一節(jié)開(kāi)始， 我們會(huì)著重介紹決策樹(shù)模型名党， 從http://www.reibang.com/p/14165...