1启具、前言 ????xgboost是在gbdt基礎(chǔ)上進(jìn)行了升級心赶，所以xgboost也是通過每次擬合上次的殘差（上次實際值與目標(biāo)值之差），從而每次生成一棵樹（CART回歸樹）弥雹，最...
IP屬地：北京
-
機(jī)器學(xué)習(xí)-通俗易懂推導(dǎo)XGBoost公式 -
機(jī)器學(xué)習(xí)-模型評估與選擇1垃帅、前言 ????對于相同的數(shù)據(jù)及問題，可以有不同的算法模型解決剪勿，那么如何評價不通算法的優(yōu)劣贸诚，以及最終應(yīng)該選擇哪一種？針對這些問題厕吉，本文將做簡單介紹酱固。 2、常見術(shù)語 過擬合：...
-
機(jī)器學(xué)習(xí)類別不平衡解決方法
1头朱、前言 ??對于分類任務(wù)运悲，經(jīng)常會遇到類別不平衡問題（不通類別訓(xùn)練樣本數(shù)目差距較大），本文將對該問題給出常見的解決方法项钮。 2班眯、常用解決方法 2.1 欠采樣（下采樣） ??欠采...
-
常見統(tǒng)計量及關(guān)系（二）-方差、標(biāo)準(zhǔn)差
1烁巫、前言 ????統(tǒng)計相關(guān)問題系列第二篇署隘，上一篇點(diǎn)這里 2、常見名詞 極差（range）：一組數(shù)據(jù)中最大值與最小值之差亚隙。 四分位差（IQR）：一組數(shù)據(jù)中第75百分位數(shù)與第25...
-
k近鄰算法（k-NN）相關(guān)知識點(diǎn)
1定踱、前言 ????由于k近鄰算法相對比較簡單，故本文不會展開介紹該算法恃鞋，只是對一些知識點(diǎn)進(jìn)行整理。 2亦歉、相關(guān)知識點(diǎn) 2.1 最近鄰算法 ????當(dāng)k近鄰算法中k取1時恤浪，則為最...
-
-
信息論（熵&信息增益&增益率&gini指數(shù)）
1泥张、信息熵（Ent(D)） ????用來度量一組樣本集合的純度（信息熵越小，純度越高）鞠值。假設(shè)在集合D中第k類的占比為媚创，則D的信息熵為： 2、信息增益（Gain(D,a)） ?...
-
決策樹（ID3彤恶、C4.5钞钙、CART）1、前言 ????決策樹是目前機(jī)器學(xué)習(xí)算法中使用較多的一種算法声离，即使在各大競賽中（kaggle芒炼、天池等），使用較多的集成學(xué)習(xí)（GBDT术徊、XGBoost本刽、LightGBM、ca...