下面記錄一些面試常問題目
1、logistic，損失函數(shù)
邏輯回歸算法是分類算法隙弛，我們將它作為分類算法使用饱溢。有時候可能因為這個算法的名字中出現(xiàn)了“回歸”使你感到困惑喧伞，但邏輯回歸算法實際上是一種分類算法。
參考：http://www.reibang.com/p/fa2ed565e16e
2、sigmoid
參考：http://www.reibang.com/p/fa2ed565e16e
3潘鲫、樸素貝葉斯
樸素貝葉斯是一種基于貝葉斯定理的簡單概率分類器翁逞。
樸素貝葉斯的主要優(yōu)點有：
1）樸素貝葉斯模型發(fā)源于古典數(shù)學(xué)理論，有穩(wěn)定的分類效率溉仑。
2）對小規(guī)模的數(shù)據(jù)表現(xiàn)很好挖函，能個處理多分類任務(wù)，適合增量式訓(xùn)練彼念，尤其是數(shù)據(jù)量超出內(nèi)存時挪圾，我們可以一批批的去增量訓(xùn)練。
3）對缺失數(shù)據(jù)不太敏感逐沙，算法也比較簡單哲思，常用于文本分類。
樸素貝葉斯的主要缺點有：
1）理論上吩案，樸素貝葉斯模型與其他分類方法相比具有最小的誤差率棚赔。但是實際上并非總是如此，這是因為樸素貝葉斯模型給定輸出類別的情況下,假設(shè)屬性之間相互獨立徘郭，這個假設(shè)在實際應(yīng)用中往往是不成立的靠益，在屬性個數(shù)比較多或者屬性之間相關(guān)性較大時，分類效果不好残揉。而在屬性相關(guān)性較小時胧后，樸素貝葉斯性能最為良好。對于這一點抱环，有半樸素貝葉斯之類的算法通過考慮部分關(guān)聯(lián)性適度改進壳快。
2）需要知道先驗概率，且先驗概率很多時候取決于假設(shè)镇草，假設(shè)的模型可以有很多種眶痰，因此在某些時候會由于假設(shè)的先驗?zāi)Ｐ偷脑驅(qū)е骂A(yù)測效果不佳。
3）由于我們是通過先驗和數(shù)據(jù)來決定后驗的概率從而決定分類梯啤，所以分類決策存在一定的錯誤率竖伯。
4）對輸入數(shù)據(jù)的表達形式很敏感。
參考：http://www.reibang.com/p/b6e4f80e86ca
4因宇、attention及其優(yōu)點
核心邏輯就是「從關(guān)注全部到關(guān)注重點」七婴。
Attention 解決了 RNN 不能并行計算的問題。Attention機制每一步計算不依賴于上一步的計算結(jié)果察滑，因此可以和CNN一樣并行處理本姥。模型復(fù)雜度和CNN、RNN對比杭棵，復(fù)雜度更小，參數(shù)也更少。所以對算力的要求也就更小魂爪。
優(yōu)點：1先舷、速度快 2、并行計算 3滓侍、參數(shù)少
5蒋川、說說GBAT與XGboost，說說區(qū)別
GBDT采用了多模型集成的策略撩笆，針對殘差進行擬合捺球，進而降低模型的偏差和方差。GBDT的思想可以用一個通俗的例子解釋夕冲，假如有個人30歲氮兵，我們首先用20歲去擬合，發(fā)現(xiàn)損失有10歲歹鱼，這時我們用6歲去擬合剩下的損失泣栈，發(fā)現(xiàn)差距還有4歲，第三輪我們用3歲擬合剩下的差距弥姻，差距就只有一歲了南片。如果我們的迭代輪數(shù)還沒有完，可以繼續(xù)迭代下面庭敦，每一輪迭代疼进，擬合的歲數(shù)誤差都會減小。
GBDT的思想可以用一個通俗的例子解釋秧廉，假如有個人30歲伞广，我們首先用20歲去擬合，發(fā)現(xiàn)損失有10歲定血，這時我們用6歲去擬合剩下的損失赔癌，發(fā)現(xiàn)差距還有4歲，第三輪我們用3歲擬合剩下的差距澜沟，差距就只有一歲了灾票。如果我們的迭代輪數(shù)還沒有完，可以繼續(xù)迭代下面茫虽，每一輪迭代刊苍，擬合的歲數(shù)誤差都會減小。
XGboost的基本思想和GBDT是一樣的濒析，都是按照損失函數(shù)的負梯度方向提升正什，其實就是gbdt，只是進行了泰勒二次展開号杏，加了一些正則項婴氮。
原文鏈接：https://blog.csdn.net/ZYXpaidaxing/article/details/79963319
參考：(15條消息) GBDT與XGboost小結(jié)_星青星晴的博客-CSDN博客
機器學(xué)習(xí)算法中 GBDT 和 XGBOOST 的區(qū)別有哪些斯棒？ - 知乎 (zhihu.com)
6、樣本不均衡怎么辦
數(shù)據(jù)層面：采樣主经，數(shù)據(jù)增強荣暮，數(shù)據(jù)合成等；
算法層面：修改損失函數(shù)值罩驻，難例挖掘等穗酥。
7、過擬合處理方法
方法主要包括：（1）減少特征維度惠遏；（2）正則化砾跃，降低參數(shù)值。
具體方法有：
（1）獲取更多數(shù)據(jù) ：從數(shù)據(jù)源頭獲取更多數(shù)據(jù)节吮；數(shù)據(jù)增強（Data Augmentation）
（2）使用合適的模型：減少網(wǎng)絡(luò)的層數(shù)抽高、神經(jīng)元個數(shù)等均可以限制網(wǎng)絡(luò)的擬合能力；
（3）dropout 课锌；
（4）正則化厨内，在訓(xùn)練的時候限制權(quán)值變大；
（5）限制訓(xùn)練時間渺贤；通過評估測試雏胃；
（6）增加噪聲 Noise： 輸入時+權(quán)重上（高斯初始化） ；
（7）數(shù)據(jù)清洗(data ckeaning/Pruning)：將錯誤的label 糾正或者刪除錯誤的數(shù)據(jù)志鞍。
（8）結(jié)合多種模型： Bagging用不同的模型擬合不同部分的訓(xùn)練集瞭亮；Boosting只使用簡單的神經(jīng)網(wǎng)絡(luò)；
參考：https://zhuanlan.zhihu.com/p/91178024
8固棚、排序算法
至少要會一種
