解決機(jī)器學(xué)習(xí)問(wèn)題,最困難的部分通常是找到合適的算法模型,不同的算法模型適合于不同類數(shù)據(jù)和不同的問(wèn)題盏缤。
scikit-learn提供的主要功能就是主要關(guān)注數(shù)據(jù)建模,而非加載磷脯、操作蛾找、數(shù)據(jù)統(tǒng)計(jì), 這些任務(wù)有NumPy娩脾、Pandas就足夠了赵誓。
下圖為用戶的數(shù)據(jù)問(wèn)題,提供嘗試選擇算法模型的指南。
image.png
scikit-learn 主要提供了以下功能:
- 測(cè)試數(shù)據(jù)集俩功,sklearn.datasets模塊提供了乳腺癌幻枉、kddcup 99、iris诡蜓、加州房?jī)r(jià)等諸多開(kāi)源的數(shù)據(jù)集
- 降維(Dimensionality Reduction): 為了特征篩選熬甫、統(tǒng)計(jì)可視化來(lái)減少屬性的數(shù)量。
- 特征提取(Feature extraction): 定義文件或者圖片中的屬性蔓罚。
- 特征篩選(Feature selection): 為了建立監(jiān)督學(xué)習(xí)模型而識(shí)別出有真實(shí)關(guān)系的屬性椿肩。
- 按算法功能分類,分為監(jiān)督學(xué)習(xí):分類(classification)和回歸(regression)豺谈,以及非監(jiān)督學(xué)習(xí):聚類(clustering)郑象。sklearn提供了很全面的算法實(shí)現(xiàn),詳細(xì)算法清單http://scikit-learn.org/stabl...茬末。
- 聚類(Clustring): 使用KMeans之類的算法厂榛,給未標(biāo)記的數(shù)據(jù)分類。
- 交叉驗(yàn)證(Cross Validation): 評(píng)估監(jiān)督學(xué)習(xí)模型的性能丽惭。
- 參數(shù)調(diào)優(yōu)(Parameter Tuning): 調(diào)整監(jiān)督學(xué)習(xí)模型的參數(shù)以獲得最大效果击奶。
- 流型計(jì)算(Manifold Learning): 統(tǒng)計(jì)和描繪多維度的數(shù)據(jù)
Scikit-learn進(jìn)行計(jì)算的主要步驟為:
- 數(shù)據(jù)獲取、預(yù)處理责掏。
- 可選的降維過(guò)程柜砾。如果原始數(shù)據(jù)的維度比較大, 需要先找出真正跟預(yù)測(cè)目標(biāo)相關(guān)的屬性换衬。
- 學(xué)習(xí)以及預(yù)測(cè)的過(guò)程局义。
- 反復(fù)學(xué)習(xí)的過(guò)程。通過(guò)增加樣本冗疮、調(diào)優(yōu)參數(shù)萄唇、更換算法等各種方式,提高預(yù)測(cè)的準(zhǔn)確率术幔。
下一篇通過(guò)上面介紹的理論處理一個(gè)實(shí)際問(wèn)題另萤。
參考
Python機(jī)器學(xué)習(xí)工具:Scikit-Learn介紹與實(shí)踐
基于 Python 和 Scikit-Learn 的機(jī)器學(xué)習(xí)介紹