1. 什么是監(jiān)督學(xué)習(xí)
監(jiān)督學(xué)習(xí)（supervised learning）蛹磺，通俗來說锹安，就是學(xué)習(xí)一個(gè)模型畅买，使模型對(duì)任意給定的輸入值并闲，給出一個(gè)貼近相應(yīng)真實(shí)輸出的預(yù)測(cè)值。
主要由以下三個(gè)重要部分組成：模型谷羞、參數(shù)帝火、目標(biāo)函數(shù)。
2. 模型
簡(jiǎn)單來說湃缎，可以理解為定義一個(gè)明確的公式犀填，表示輸入和輸出之間的關(guān)系。在已知輸入后嗓违，能計(jì)算得到固定的輸出九巡。舉例如下：
假設(shè)所用模型為常見的線性模型，則有預(yù)測(cè)值的加權(quán)求和公式：
其中蹂季，冕广，為第
個(gè)特征的權(quán)重疏日。
，為第
個(gè)樣本的第
個(gè)特征撒汉。
制恍，為第
個(gè)樣本的預(yù)測(cè)值。
對(duì)于不同類型的任務(wù)神凑，預(yù)測(cè)值有不同的解釋：
- 若解決的是分類問題（二分類，0/1）何吝，則為L(zhǎng)ogistic回歸（Logistic regression）溉委，實(shí)際輸出
，表示該樣本為正例的概率爱榕。
- 若解決的是回歸問題瓣喊，則為線性回歸（Linear regression），實(shí)際輸出
黔酥，表示預(yù)測(cè)值藻三。
3. 參數(shù)
在上述線性模型的例子中，對(duì)于新的輸入跪者，能計(jì)算得到
的前提是：權(quán)重
已知棵帽。
因此，權(quán)重集合渣玲，即為模型需要預(yù)先從已知
和真實(shí)
的樣本中學(xué)習(xí)得到的參數(shù)逗概。
4. 目標(biāo)函數(shù)
那么，如何從已知的樣本中學(xué)習(xí)到合適的參數(shù)呢忘衍？需要我們定義一個(gè)目標(biāo)函數(shù)逾苫，并求其最小化的解。
目標(biāo)函數(shù)通常包含兩部分：訓(xùn)練誤差枚钓、正則化項(xiàng)铅搓，即：
其中，搀捷，為訓(xùn)練誤差星掰，表示模型對(duì)于訓(xùn)練數(shù)據(jù)的擬合程度，擬合程度越高則誤差越小指煎。
蹋偏，為正則化項(xiàng)，也稱懲罰項(xiàng)至壤，表示模型復(fù)雜度威始，值越大則模型復(fù)雜度越高。
因此像街，目標(biāo)函數(shù)的最小化黎棠，表示尋求訓(xùn)練誤差和正則化項(xiàng)的同時(shí)小晋渺，即，模型對(duì)于訓(xùn)練數(shù)據(jù)的擬合程度較好脓斩，同時(shí)模型又盡量簡(jiǎn)單木西，泛化能力強(qiáng)（對(duì)于未知的數(shù)據(jù)，依然能保持較好的預(yù)測(cè)效果随静，而非對(duì)訓(xùn)練數(shù)據(jù)過擬合）八千。
對(duì)于訓(xùn)練誤差/損失函數(shù)，可進(jìn)一步表示為：
其中燎猛，恋捆，為第個(gè)樣本的真實(shí)值。
重绷，為預(yù)測(cè)值沸停。
，為損失函數(shù)昭卓，表示如何計(jì)算真實(shí)值與預(yù)測(cè)值之間的誤差愤钾。
為訓(xùn)練樣本的個(gè)數(shù)。
常用的正則化項(xiàng)包括：
L1正則化（L1范數(shù)）候醒，能颁，即權(quán)重向量
中，各元素的絕對(duì)值之和
L2正則化（L2范數(shù)）倒淫，劲装，即權(quán)重向量
中，各元素的平方和再求平方根
