1.根據(jù)輸入輸出變量的不同類型，對預(yù)測任務(wù)進行不同的命名：
1）input怠晴，output均為連續(xù)變量--------回歸問題--函數(shù)擬合
? ? ????最常用的損失函數(shù)是：平方損失---最小二乘法求解回歸問題
? ????? 例子：為市場趨勢預(yù)測焚廊、產(chǎn)品質(zhì)量管理纵诞、客戶滿意度調(diào)查绘闷，投資風(fēng)險分析的工具
? ????????? 股票價格預(yù)測
2）output是有限個離散變量（輸入可以離散可以連續(xù)）-------分類問題
? ? ? ? 分類準確率
????????對于二分類;指標：精確率precision和召回率recall
????????TP正預(yù)測為正（正確的prediction）忆肾；FN正預(yù)測為負（錯誤的N）室梅；FP負預(yù)測為正（錯誤? ? ? ?????的prediction）戏仓；TN負預(yù)測為負（正確的N）
????????分類算法：K臨近赏殃，感知機，樸素貝葉斯间涵，決策樹仁热，邏輯斯蒂回歸，支持向量機勾哩，提升方? ? ? ?????法抗蠢，貝葉斯網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)思劳，Winnow
????????例子：銀行中對客戶按照貸款風(fēng)險大小進行分類迅矛，構(gòu)建客戶分類模型；文本分類
3）input敢艰，output均為變量序列------標注問題tagging--分類問題的推廣--結(jié)構(gòu)預(yù)測問題的簡單形式
????????輸入：觀測序列诬乞；輸出：標記序列或者狀態(tài)序列
????????統(tǒng)計方法 ：隱馬爾可夫模型，條件隨機場
????????在信息提取、自然語言處理等領(lǐng)域廣泛應(yīng)用
2.統(tǒng)計學(xué)習(xí)方法=模型+策略+算法
model：監(jiān)督學(xué)習(xí)中模型就是要學(xué)習(xí)的條件概率或決策函數(shù)
strategy：如何選擇最佳模型：
????????1）損失函數(shù)和風(fēng)險函數(shù)
????????期望風(fēng)險Rexp(f)是模型關(guān)于聯(lián)合分布的期望損失震嫉，經(jīng)驗風(fēng)險Remp是模型關(guān)于訓(xùn)練樣本集的平均損失森瘪。
????????根據(jù)大數(shù)定理，樣本量N~無窮票堵，經(jīng)驗風(fēng)險趨近于期望風(fēng)險扼睬，但是往往訓(xùn)練樣本有限。so需要對經(jīng)驗風(fēng)險進行校正悴势。
????????2)對經(jīng)驗風(fēng)險進行校正-----經(jīng)驗風(fēng)險最小化和結(jié)構(gòu)風(fēng)險最小化
algorithm：用什么樣的計算方法求解最優(yōu)化模型
3. 訓(xùn)練誤差：判斷給定的問題是不是容易學(xué)習(xí)扇雕；測試誤差：學(xué)習(xí)方法對位置數(shù)據(jù)的預(yù)測能力（泛化能力）
過擬合：學(xué)習(xí)時選擇的模型所包含的參數(shù)過多，該模型對已知數(shù)據(jù)預(yù)測的很好窥摄，對未知數(shù)據(jù)預(yù)測很差
如何選擇模型镶奉？--正則化和交叉驗證
正則化：--結(jié)構(gòu)風(fēng)險最小化策略的實現(xiàn)
交叉驗證：若樣本數(shù)據(jù)足夠，將其分為：訓(xùn)練集崭放，驗證集和測試集
? ? 簡單交叉驗證：數(shù)據(jù)隨機分為兩部分：訓(xùn)練與測試
? ? S折交叉驗證：隨機將數(shù)據(jù)切分為S個互不相關(guān)的大小相同的子集哨苛，S-1個子集訓(xùn)練，剩余數(shù)? ?????據(jù)測試
????留一交叉驗證：S=N币砂，在數(shù)據(jù)缺乏的情況下用
生成模型與判別模型：
生成模型：數(shù)據(jù)學(xué)習(xí)聯(lián)合概率分布建峭，求出條件概率分布作為預(yù)測模型（可還原聯(lián)合概率分布，學(xué)習(xí)收斂速度更快）
????樸素貝葉斯和隱馬爾科夫模型
判別模型：直接學(xué)習(xí)決策函數(shù)f（X）或者條件概率分布P（Y/X）作為預(yù)測模型（學(xué)習(xí)的準確率更高）
????k臨近决摧，感知機亿蒸，決策樹凑兰，邏輯斯蒂回歸，最大熵模型边锁，支持向量機姑食，提升方法和條件隨機場等
4.常用的機器學(xué)習(xí)算法比較？ - 知乎
機器學(xué)習(xí)包含哪些學(xué)習(xí)思想茅坛？ - 知乎
