這一篇寫給自己注祖，想把這個博客好好寫下去。 之前機器學(xué)習(xí)系列會繼續(xù)寫下去挎扰， 后面打算寫一些推薦系統(tǒng)相關(guān)的內(nèi)容囚霸，接下來是EM算法腰根，以及EM的應(yīng)用例子...

這一篇開始介紹XGBoost。 和GBDT不同拓型， XGBoost不僅僅使用了一階梯度额嘿， 還使用了二階梯度。同時增加了正則化劣挫。 第m步的損失函數(shù)：...

這一篇開始講GBDT(梯度提升決策樹)册养， 根據(jù)上一篇可知，該模型每次學(xué)習(xí)的是損失函數(shù)的負(fù)梯度压固。所以基模型是回歸樹（因為每次都在擬合一個確定的值球拦，...

這一篇， 我們希望提升模型的性能帐我， 除了更多的數(shù)據(jù)坎炼，更好的EDA等，集成學(xué)習(xí)可以從模型的角度提升模型的學(xué)習(xí)性能拦键，即將基模型組合成一個大模型谣光。 在...

這一篇繼續(xù)boosting，介紹一下提升樹算法芬为， 提升樹以決策樹為基模型萄金， 依然是加法模型，優(yōu)化算法是前向分步算法媚朦。 針對分類問題氧敢， 決策樹是二...

這一篇開始介紹Boosting，我們先介紹Boosting中的第一個模型询张， AdaBoost, 二分類學(xué)習(xí)模型 AdaBoost的基本原理孙乖，是每...

這一講要開始講SVM(Support Vector Machine)了，在深度學(xué)習(xí)流行以前钮糖，SVM占據(jù)著很重要的位置梅掠，它的理論推導(dǎo)是非常優(yōu)美的酌住。...

前面若干篇幅， 主要講了線性分類器阎抒， 這一節(jié)開始酪我， 我們會著重介紹決策樹模型， 從http://www.reibang.com/p/14165...