機器學習概念,公式總結

一. 引言

1.機器學習是什么

Arthur Samuel：在進行特定編程的情況下污秆，給予計算機學習能力的領域。
Tom Mitchell：一個程序被認為能從經驗E中學習痰驱，解決任務T既鞠，達到性能度量值P，當且僅當朦肘，有了經驗E后饭弓，經過P評判，程序在處理T時的性能有所提升媒抠。

2.機器學習導圖

正面.jpeg

圖的左半部分列出了常用的機器學習算法與它們之間的演化關系弟断，分為有監(jiān)督學習，無監(jiān)督學習趴生，強化學習3大類阀趴。右半部分列出了典型算法的總結比較，包括算法的核心點如類型冲秽，預測函數(shù)舍咖，求解的目標函數(shù)，求解算法锉桑。
另一個角度總結:

image.png

3.機器學習分類及應用

分類

監(jiān)督學習：對于有標簽的數(shù)據進行學習排霉，目的是能夠正確判斷無標簽的數(shù)據。通俗的講，老師教授學生知識攻柠，并告知學習過程中的對與錯球订，讓學生可以從所學知識的經驗和技能中對沒有學過的問題進行正確回答，這就是監(jiān)督學習瑰钮，用于預測數(shù)據的回歸冒滩、分類標簽的分類、順序的排序等問題浪谴。

無監(jiān)督學習：對于無標簽的數(shù)據進行學習开睡，目的是不僅能夠解決有明確答案的問題，也可以對沒有明確答案的問題進行預測苟耻。通俗的講篇恒，學生通過自學學習知識，達到可以正確回答有答案的問題凶杖，也可以對無答案的問題進行預測歸類胁艰。常用于聚類、異常檢測等智蝠。

強化學習：學生學習知識時腾么，沒有老師對其進行對與錯的判定，需要學生根據自己所擁有的信息自己判定對于錯杈湾，如果能夠判定出來解虱，則為有監(jiān)督學習；如果判定不出來對與錯漆撞，則為無監(jiān)督學習饭寺。常用于機器人的自動控制、游戲的人工智能叫挟、市場戰(zhàn)略的最優(yōu)化等。

應用

監(jiān)督學習應用：手寫文字識別限煞、聲音處理抹恳、圖像處理、垃圾郵件分類與攔截署驻、網頁檢索奋献、基因診斷、股票預測......（回歸旺上、分類瓶蚂、排序）

無監(jiān)督學習應用：人造衛(wèi)星故障診斷、視頻分析宣吱、社交網站解析窃这、聲音信號解析.....（聚類、異常檢測）

強化學習應用：機器人的自動控制征候、計算機游戲中的人工智能杭攻、市場戰(zhàn)略的最優(yōu)化（回歸祟敛、分類、聚類兆解、降維）

4.機器學習方法

生成式分類
判別式分類

生成式分類和判別式分類

已知模式x, 求分類類別y的條件概率 $p(y|x)$ 最大的類別: $\hat{y} = \underset{y}{\arg\max} p(y|x)$

條件概率改寫為y的函數(shù): $p(y|x) = \frac{p(x,y)}{p(x)} \propto p(x,y)$
聯(lián)合概率p(x,y)和后驗概率p(y|x)成正比,故直接求聯(lián)合概率最大值即可: $\hat{y} = \underset{y}{\arg\max p(x,y)}$

條件概率p(y|x)也稱后驗概率, 聯(lián)合概率p(x,y)也稱數(shù)據生成概率

直接對后驗概率 $p(y|x)$ 學習的過程稱為判別式分類
通過預測數(shù)據生成概率 $p(x,y)$ 學習的過程稱為生成式分類

數(shù)據生成概率 $p(x,y)$ 已知時可推出后驗概率: $p(y|x) = \frac{p(x,y)}{p(x)} = \frac{p(x,y)}{\sum_y{p(x,y)}}$ , 反之不可以.

統(tǒng)計概率和樸素貝葉斯

統(tǒng)計概率方法
已知樣本 $D=\{(x_i,y_i)\}_{i=1}^{n}$ , 求運用最大似然方法來求模式 $\theta$ :
$\underset{\theta}{max}\prod_{i=1}^yq(x_i,y_i;\theta)$

目標: 由訓練集得到高精度的 $\theta$

樸素貝葉斯方法
計算模式 $\theta$ 的先驗概率 $p(\theta)$ ,運用貝葉斯定理來求數(shù)據集D的后驗概率 $p(\theta|D)$ :
$p(\theta|D)=\frac{p(D|\theta)p(\theta)}{p(D)} = \frac{\int\prod_{i=1}^nq(x_i,y_i|\theta)p(\theta)}{\int\prod_{i=1}^nq(x_i,y_i|\theta)p(\theta)d\theta}$
目標: 如何精確計算后驗概率 $p(\theta)$

5.強化學習(RL),監(jiān)督學習(SL)和無監(jiān)督學習(UL)的區(qū)別和聯(lián)系

下面這段話解釋了得很清楚:

Reinforcement learning is a problem. Deep learning is an approach to solving problems.There is a deep learning approach to supervised learning, unsupervised learning, semi-supervised learning, and reinforcement learning.

劃重點:

Supervised Learning: given data, predict labels
Unsupervised Learning: given data, learn about that data
Reinforcement learning: given data, choose action to maximize expected long-term reward
RL更像控制系統(tǒng)家族里的,流著控制的血液馆铁，披著機器學習的外衣，需要data锅睛，training以此來支持決策埠巨。RL可以decision-making，不同于決策樹之類的決策现拒，是控制角度的決策辣垒，意味著就有失誤，伴隨著收益與懲罰（股票具练，博弈乍构，游戲得分等等）。

細一點來說扛点，RL與SL的區(qū)別有：

喂數(shù)據的方式不同：強化學習（RL）的數(shù)據是序列的哥遮、交互的、并且還是有反饋的（Reward）-【MDP]陵究。這就導致了與監(jiān)督學習（SL）在優(yōu)化目標的表現(xiàn)形式的根本差異：RL是一個決策模型眠饮，SL更偏向模式挖掘，低階的函數(shù)逼近與泛化铜邮。RL是agent自己去學習仪召，SL是跟著programmer的idea在收斂。
RL的target是估計得來的松蒜，符合bellman等式扔茅，SL的target是fixed label；RL可以融合SL來訓練秸苗，RL還可以自己博弈來生成樣本召娜。[交互特性，也可以放到第一點中]
RL可以進行l(wèi)ifelong形式的學習惊楼。RL有“生命”的【你可能也不知道你訓練出來的模型到底能干什么】玖瘸，SL沒有。

二. 機器學習模型

1. 線性模型

一維輸入+基函數(shù)形式:

$f_\theta(x) = \sum_{j=1}^b\theta_j\phi_j(x) = \theta^T\phi(x)$
$\phi_j(x)$ 非線性時, $f_\theta(x)$ 可以表示復雜模型
基函數(shù):
(1) 多項式
$\phi(x) = (1, x, x^2, ..., x^{b-1})^T$

(2)三角多項式
$\phi(x) = (1, sinx, cosx, sin2x, cos2x, ..., sinmx, cosmx)^T$

多維輸入形式:

$f_\theta(\vec x) = \sum_{j=1}^b\theta_j\phi_j(\vec x) = \theta^T\phi(\vec x)$

$\phi_j(x)$ 是基函數(shù)向量 $\phi(x) = (\phi_1(x), ..., \phi_b(x))^T)$ 的第j個因子, $\theta_j$ 是參數(shù)向量 $\theta=(\theta_1,...,\theta_b)^T$ 的第j個因子.

基函數(shù):
(1) 乘法模型
$f_\theta(\vec x) = \sum_{j_1=1}^{b'} \cdots \sum_{j_d=1}^{b'} \theta_{j_1,...,j_d} \phi_{j_1}{(x^{(1)}}) \cdots \phi_{j_d}(x^{(d)})$
模型表現(xiàn)力豐富, 其中, b'代表各維參數(shù)個數(shù), 參數(shù)總和 $(b′)^d$ , 易導致維數(shù)災難.
(2) 加法模型
$θ(x)=\sum_{k=1}^d\sum_{j=1}^{b'}\theta_{k,j}\phi_j(x^{(k)})$
參數(shù)總和 $b'd$ , 復雜度小, 表現(xiàn)力差

2. 核模型

線性模型基函數(shù)和訓練樣本無關,核模型的基函數(shù)會使用輸入樣本.

核模型是二元核函數(shù) $K(\cdot,\cdot)$ , 以 $K(\vec x, x_j)_{j=1}^n$ 的方式線性結合:

$f_\theta(x) = \sum_{j=1}^n\theta_jK(x,x_j)$

高斯核:
$K(x,c) = exp(-\frac{\|x-c\|^2}{2h^2})$
, 其中 $\|\cdot\|$ 表示 $L2$ 范數(shù) $\|x\|=\sqrt{x^Tx}$ , h和c是高斯函數(shù)帶寬和均值

高斯核函數(shù)圖:

一維高斯核

如圖, 只在各個樣本

\{x_i\}_{i=1}^n

附近近似, 減輕了維數(shù)災難

參數(shù)個數(shù)不依賴輸入變量維數(shù)d, 只由樣本數(shù)n決定

樣本數(shù)n很大時, 將樣本 $\{x_i\}_{i=1}^n$ 的子集 $\{c_j\}_{j=1}^b$ 作為核均值計算, 抑制了計算負荷:
$f_\theta(x)=\sum_{j=1}^b\theta_jK(x,c_j)$

核模型是參數(shù)向量 $\vec \theta=(\theta_1,\cdots,\theta_n)^T$ 的線性形式, 因此也是基于參數(shù)的線性模式的特例.

基于參數(shù)的線性模型稱為參數(shù)模型, 核模型稱為非參數(shù)模型

核映射: 核模型易擴展,當輸入樣本不是向量時(字符串,決策樹, 圖表等),通過構造兩個樣本x和x'的和核函數(shù) $K(x,x')$ 來建模.

3. 層級模型

非線性模型: 和參數(shù)相關的不是線性的模型均稱為非線性模型
非線性模型中的層級模型:
$f_\theta(x) = \sum_{j=1}^b\alpha_j\phi(x;\beta_j)$
上式中, $\phi(x;\beta_j)$ 是包含參數(shù)向量 $\vec \beta$ 的基函數(shù), $\vec \alpha$ 是參數(shù)向量
層級模型是基于參數(shù)向量 $\vec \theta = (\vec \alpha^T, \beta_1^T, \cdots, \beta_b^T)^T$ 的非線性形式

S型基函數(shù):
$\phi(x;\beta) = \frac{1}{1+exp(- x^T \omega-\gamma)}, \beta = (\omega^T, \gamma)^T$

S型基函數(shù)

高斯基函數(shù):
$\phi(x;\beta) = exp(-\frac{\|x-c\|^2}{2h^2}), \beta = (c^T, h)^T$

高斯基函數(shù)

使用S型核函數(shù)的層級模型稱為人工神經網絡
上式中的高斯函數(shù)和核模型中的高斯核相同,但是帶寬和均值非固定
層級模型會對耦合系數(shù) $\{\alpha_j\}_{j=1}^b$ ,帶寬和均值都進行學習, 因此層級模型比核函數(shù)更靈活.
人工神經網絡學習過程艱難: 參數(shù) $\theta$ 和函數(shù) $f_\theta$ 不是一一對應的
常采用貝葉斯方法學習人工神經網絡

三. 最小二乘法(LS)

1. 無約束最小二乘法

對模型均方誤差最小化時的參數(shù) $\theta$ 學習的方法.

若無特別說明, 下文提到的最小二乘法通指無約束的.

均方誤差:
$J_{LS}(\theta) = \frac{1}{2}\sum_{i=1}^n(f_\theta(x_i)-y_i)^2$

LS: Least Squares
學習目標:
$\hat\theta_{LS} = \underset{\theta}{\arg\min}J_{LS}(\theta)$

平方誤差 $(f_\theta(x_i)-y_i)^2$ 是殘差 $|f_\theta(x_i)-y_i|$ 的 $L2$ 范數(shù), 最小二乘法也稱 $L_2$ 損失最小化學習法

加權最小二乘法
對訓練樣本平方差通過權重 $w_i$ 加權, 再使用最小二乘法:
$\underset{\theta}{min}\frac{1}{2}\sum_{i=1}^nw_i(f_\theta(x_i)-y_i)^2$

核模型的最小二乘法求解:
$f_\theta(x) = \sum_{j=1}^n\theta_jK(x,x_j)$
上式, 將設計矩陣 $\Phi$ 置換為核矩陣K:
$K = \begin{pmatrix} K(x_1,x1) &\cdots &K(x_1,x_n) \\ \vdots &\ddots & \vdots \\ K(x_n,x_1) &\cdots & K(x_n,x_n) \end{pmatrix}$

線性模型中的應用

$f_\theta(x) = \sum_{j=1}^b\theta_i\phi_i(\mathbf x) = \theta^T\phi(x)$

平方誤差:
$J_{LS}(\theta) = \frac{1}{2}\|\Phi \mathbf \theta-\mathbf y\|^2$

$\Phi$ 構成的nxb階設計矩陣:
$\Phi = \begin{pmatrix} \phi_1(x_1) &\cdots &\phi_b(x_1) \\ \vdots &\ddots &\vdots \\ \phi_1(x_n) &\cdots &\phi_b(x_n) \\ \end{pmatrix}$

關于參數(shù)向量 $\theta$ 的偏微分:
$\nabla \theta_{LS} = (\frac{\partial J_{LS}}{\partial \theta_1}, \cdots, \frac{\partial J_{LS}}{\partial \theta_b})= \Phi^T\Phi\theta-\Phi^T\mathbf y$
$\nabla \theta_{LS}=0$ 時 $J_{LS}(\theta)$ 取得最小值, 此時最小二乘解滿足 $\Phi^T\Phi \theta=\Phi^T\mathbf y$

解得:
$\hat \theta_{LS} = (\Phi^T\Phi)^{-1}\Phi^Ty$

注: 只有 $\Phi^T\Phi$ 有逆矩陣時上式才成立

廣義逆矩陣: 是對逆矩陣的推廣, 只有方陣, 非奇異矩陣才有逆矩陣, 單矩形矩陣或奇異矩陣都可以定義廣義逆矩陣
令廣義逆矩陣為:
$\Phi^{\dagger} = (\Phi^T\Phi)^{-1}\Phi^T$
, 則 $\hat \theta_{LS}$ 可寫為:
$\hat \theta_{LS} = \Phi ^{\dagger}y$

最小二乘法學習基于三角多項式基函數(shù)的線性模型:

無約束最小二乘法解的性質

設計矩陣 $\Phi$ 的奇異值分解:

$\phi = \sum_{k=1}^{min(n,b)}\kappa_k\psi_{k} \varphi_k^T$

$\kappa_k, \psi_{k}, \varphi_k$ 分別稱為奇異值, 左奇異向量, 右奇異向量.

奇異值非負
奇異向量滿足正交性

$\Phi$ 的廣義逆矩陣:
$\Phi^{\dagger} =\sum_{k=1}^{min(n,b)}\kappa_k^{\dagger}\psi_{k} \varphi_k^T$

$\kappa _k^{\dagger}$ 是標量 $\kappa$ 的廣義逆矩陣, $\kappa^{\dagger} = \frac{1}{\kappa} (\kappa \neq 0時)$

最小二乘解表示為:
$\hat \theta_{LS}= \sum_{k=1}^{min(n,b)}\kappa_k^{\dagger}(\psi_{k}^Ty) \varphi_k$

模型輸出向量變換為列向量:
$(f_{\hat \theta_{LS}}(x_1), \cdots, f_{\hat \theta_{LS}}(x_n))^T = \Phi\hat \theta_{LS} = \Phi\Phi^{\dagger}\mathbf{y}$

因此, $\Phi\Phi^{\dagger}$ 是 $\Phi$ 的正交投影矩陣, 最小二乘法輸出向量 $\mathbf y$ 是值域 $R(\Phi)$ 的正交投影得到的.

帶入真實函數(shù)中的參數(shù) $\theta^*$ :
$(f(x_1), \cdots, f(x_n))^T = \Phi \theta^*$
可知, 真的輸出值向量就存在于 $R(\Phi)$ 中

結論: 用最小二乘法的向量若是由 $R(\Phi)$ 的正投影得到的, 則可以有效去除y中的噪音:

噪聲期望為0是, $\hat \theta_{LS}$ 就是真是參數(shù) $\theta^*$ 的無偏估計:
$E[\hat \theta_{LS}] = \theta^*$
上式, E為噪聲的期望

漸近無偏性:
增加訓練樣本n, 上式$E[\hat \theta_{LS}]會向著模型中最優(yōu)參數(shù)方向收斂的性質

大規(guī)模學習

一般線性模型 $J_{LS}$ 為凸函數(shù).
凸函數(shù): 連接任意兩點 $\theta_1,\theta_2$ 的線段一定在函數(shù)上不:

凸函數(shù)只有一個峰值,因此通過梯度法一定可以得到均方差 $J_{LS}$ 在值域范圍內的全局最優(yōu)解

梯度法的收斂速度強烈依賴梯度下降步長, 以及收斂結果判定方式(提前終止).

2.帶約束條件的最小二乘法

單純的最小二乘法容易過擬合, 帶約束的最小二乘法能控制模型復雜度, 降低過擬合.

部分空間約束的LS

含參線性模型, 使用全體參數(shù)空間:
$f_{\theta}(x) = \sum_{j=1}^b\theta_j\phi_j(x) = \theta^T\phi(x)$

將參數(shù)空間限制在一定范圍內, 防止過擬合:
$\underset{\theta}{min}J_{LS}(\theta) \quad 約束條件 P\theta=\theta$

P是 $bxb$ 維矩陣,是P的值域 $R(P)$ 的正交投影矩陣

部分空間約束的最小二乘法解 $\hat \theta$ 通過將設計矩陣 $\Phi$ 置換為 $\Phi P$ 求得:
$\hat \theta = (\Phi P)^\dagger\, y$

下圖展示了添加部分空間約束對模型的影響:

image.png

上圖用三角多項式作為基函數(shù):
$\phi(x) = (1, sin\frac{x}{2},cos\frac{x}{2},sin\frac{2x}{2},cos\frac{2x}{2}, \cdots, sin\frac{15x}{2},cos\frac{15x}{2})^T$

圖(b)添加了約束條件, 將參數(shù)限制在
$(1, sin\frac{x}{2},cos\frac{x}{2},sin\frac{2x}{2},cos\frac{2x}{2}, \cdots, sin\frac{5x}{2},cos\frac{5x}{2})^T$
的部分空間內:

image.png

L2約束的LS

1. 標準L2約束的LS

部分空間約束的LS(最小二乘法), 正交投影矩陣P的設置自由度高, 操作難度大, 基于L2約束的LS相對較容易.

約束條件如下:
$\underset{\theta}{min}J_{LS}(\theta)\quad 約束條件\|\theta\|^2 \leq R$

L2參數(shù)空間:

L2約束的最小二乘學習法參數(shù)空間

如圖, 是一個參數(shù)空間原點為圓心,R為半徑內的圓(一般為超球)

引入拉格朗日對偶問題:

拉格朗日對偶問題

利用拉格朗日對偶問題, 求解:
$\underset{\lambda}{max} \;\underset{\theta}{min} [ J_{LS}(\theta) + \frac{\lambda}{2}(\|\theta\|^2-R)] \; s.t.\;\lambda \ge 0$

的最優(yōu)解問題, 可得到最優(yōu)化問題 $\underset{\theta}{min}J_{LS}(\theta)$ 的解.

上式中拉格朗日待定因子 $\lambda$ 的解由圓半徑R決定

簡化版(不由R決定 $\lambda$ ):
$\hat{\theta} = \underset{\theta} {argmin}[ J_{LS}(\theta) + \frac{\lambda}{2}\|\theta\|^2]$

上式 $J_{LS}(\theta)$ 表示對樣本擬合程度, 與 $\frac{\lambda}{2}\|\theta\|^2$ 組合得到最小是, 防止過擬合

上式令關于 $\theta$ 的導數(shù)為0, L2約束的LS的解 $\theta$ 可通過下式求解:
$\hat \theta = (\Phi^T\Phi+\lambda I)^{-1}\Phi^T\mathbf y$
上式結論:

將矩陣 $\Phi^T\Phi和\lambda I$ 相加提高其正則性, 進而更穩(wěn)定地進行逆矩陣求解.
L2約束的LS也成為L2正則化的LS, $\|\theta\|^2$ 稱為正則項, $\lambda$ 為正則化參數(shù)
L2正則化有時也稱嶺回歸

將設計矩陣 $\Phi$ 做奇異值分解:
$\Phi = \sum_{k=1}^{min(n,b)}\kappa_k\psi_k\varphi_k^T$

帶入上上式, 則L2約束的LS解 $\hat \theta$ 表示為:
$\kappa_k\psi_k\varphi_k^T\\ \hat{\theta} = \sum_{k=1}^{min(n,b)} \frac{\kappa_k}{(\kappa_k^2 + \lambda)}\psi_k^Ty\varphi_k$

上式結論:

$\lambda=0$ 時, L2約束的LS蛻化為一般的LS
設計矩陣 $\Phi$ 計算條件惡劣,包含極小的奇異值 $K_k$ 時, $K_k/K_k^2=1/K_k$ 變得極大, 訓練輸出 $\vec y$ 噪聲會增加
分母 $K_k^2$ 中加入正的常數(shù) $\lambda$ , 避免 $K_k/(K_k^2+\lambda$ 過大, 進而可防止過擬合

2. 高斯核模型的L2約束優(yōu)化

高斯核模型

L2約束優(yōu)化

$帶寬h=0.3, 正則化參數(shù)\lambda=0.1$ , 加入正則化項, 很好地抑制了過擬合.
根據標準高斯分布的函數(shù)圖, 我們對比可以看出圖中標紅位置出現(xiàn)了過擬合.

2. 更一般L2約束的LS

標準L2約束的LS

問題表示:
$\underset{\theta}{min}J_{LS}(\theta)\; s.t.\; \|\theta\|^2 \le R$
$\hat \theta$ 求解:

$\hat{\theta} = (\Phi^T\Phi + \lambda I)^{-1}\Phi^Ty$

更一般的L2約束的LS
使用 $bxb$ 正則化矩陣G, 可得到更一般的表示:

問題表示:
$\underset{\theta}{min}J_{LS}(\theta)\; s.t. \; \theta^T G\theta \le R$
$\hat \theta$ 求解:
更一般的L2約束的LS解 $\theta$ 求解過程, 和標準L2約束的LS大體相同:
$\hat{\theta} = (\Phi^T\Phi + \lambda G)^{-1}\Phi^Ty$
參數(shù)空間:
矩陣G對稱正定時, $\theta^TG\theta \leq R ?$ 將數(shù)據限制在橢圓區(qū)域內. 下圖為更一般的L2約束的LS參數(shù)空間:

一般L2約束LS的參數(shù)空間

3. 模型選擇

部分空間約束或L2約束的LS, 都過分依賴正交投影矩陣P和 正則化參數(shù)λ的選擇

選擇合適的P和λ至關重要

采用不同的輸入樣本, 決定算法中各個參數(shù)值的過程稱為模型選擇

下圖展示一個高斯核模型+L2約束的LS中, 帶寬 $h$ 和正則化參數(shù) $\lambda$ 的變化對學習結果的影響:

image.png

模型選擇流程:

image.png

實際應用中常用交叉驗證法, 拿出一部分訓練樣本做測試, 不參與學習, 值評價最終學習結果的泛化誤差

image.png

交叉驗證法流程:

交叉驗證

K折交叉驗證:
訓練集分割為k個集合, 需進行k次學習, 由于各學習過程相互獨立, 可以并行計算.

留一交叉驗證:
設有n個樣本, 每次留下一個樣本做測試集, 其余n-1個訓練, 共需要訓練n次, 測試n次
計算繁瑣, 樣本利用率高, 適合小樣本學習

最后編輯于：2018.09.19 10:19:27

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者

人面猴
序言：七十年代末，一起剝皮案震驚了整個濱河市，隨后出現(xiàn)的幾起案子别惦，更是在濱河造成了極大的恐慌，老刑警劉巖蔑匣，帶你破解...
沈念sama閱讀 216,324評論 6贊 498
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現(xiàn)場離奇詭異，居然都是意外死亡殖演，警方通過查閱死者的電腦和手機氧秘，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 92,356評論 3贊 392
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來趴久，“玉大人丸相，你說我怎么就攤上這事”斯鳎” “怎么了灭忠？”我有些...
開封第一講書人閱讀 162,328評論 0贊 353
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵，是天一觀的道長座硕。經常有香客問我弛作，道長，這世上最難降的妖魔是什么华匾？我笑而不...
開封第一講書人閱讀 58,147評論 1贊 292
?港島之戀（遺憾婚禮）
正文為了忘掉前任映琳，我火速辦了婚禮，結果婚禮上蜘拉，老公的妹妹穿的比我還像新娘萨西。我一直安慰自己，他們只是感情好旭旭，可當我...
茶點故事閱讀 67,160評論 6贊 388
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布谎脯。她就那樣靜靜地躺著，像睡著了一般持寄。火紅的嫁衣襯著肌膚如雪源梭。梳的紋絲不亂的頭發(fā)上，一...
開封第一講書人閱讀 51,115評論 1贊 296
城市分裂傳說
那天稍味，我揣著相機與錄音废麻，去河邊找鬼。笑死模庐，一個胖子當著我的面吹牛脑溢，可吹牛的內容都是我干的。我是一名探鬼主播赖欣，決...
沈念sama閱讀 40,025評論 3贊 417
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼，長吁一口氣：“原來是場噩夢啊……” “哼验庙！你這毒婦竟也來了顶吮？” 一聲冷哼從身側響起，我...
開封第一講書人閱讀 38,867評論 0贊 274
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤粪薛，失蹤者是張志新（化名）和其女友劉穎悴了，沒想到半個月后，有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經...
沈念sama閱讀 45,307評論 1贊 310
?護林員之死
正文獨居荒郊野嶺守林人離奇死亡湃交，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內容為張勛視角年9月15日...
茶點故事閱讀 37,528評論 2贊 332
?白月光啟示錄
正文我和宋清朗相戀三年熟空，在試婚紗的時候發(fā)現(xiàn)自己被綠了。大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片搞莺。...
茶點故事閱讀 39,688評論 1贊 348
活死人
序言：一個原本活蹦亂跳的男人離奇死亡息罗，死狀恐怖，靈堂內的尸體忽然破棺而出才沧，到底是詐尸還是另有隱情迈喉，我是刑警寧澤，帶...
沈念sama閱讀 35,409評論 5贊 343
?日本核電站爆炸內幕
正文年R本政府宣布温圆，位于F島的核電站挨摸，受9級特大地震影響，放射性物質發(fā)生泄漏岁歉。R本人自食惡果不足惜得运，卻給世界環(huán)境...
茶點故事閱讀 41,001評論 3贊 325
男人毒藥：我在死后第九天來索命
文/蒙蒙一、第九天我趴在偏房一處隱蔽的房頂上張望锅移。院中可真熱鬧熔掺，春花似錦、人聲如沸帆啃。這莊子的主人今日做“春日...
開封第一講書人閱讀 31,657評論 0贊 22
一樁弒父案，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽努潘。三九已至诽偷，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間疯坤，已是汗流浹背报慕。一陣腳步聲響...
開封第一講書人閱讀 32,811評論 1贊 268
情欲美人皮
我被黑心中介騙來泰國打工，沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留压怠，地道東北人眠冈。一個月前我還...
沈念sama閱讀 47,685評論 2贊 368
代替公主和親
正文我出身青樓，卻偏偏與公主長得像菌瘫，于是被迫代替她去往敵國和親蜗顽。傳聞我的和親對象是個殘疾皇子，可洞房花燭夜當晚...
茶點故事閱讀 44,573評論 2贊 353

機器學習概念,公式總結

一. 引言

1.機器學習是什么

2.機器學習導圖

3.機器學習分類及應用

分類

應用

4.機器學習方法

生成式分類和判別式分類

統(tǒng)計概率和樸素貝葉斯

5.強化學習(RL),監(jiān)督學習(SL)和無監(jiān)督學習(UL)的區(qū)別和聯(lián)系

二. 機器學習模型

1. 線性模型

一維輸入+基函數(shù)形式:

多維輸入形式:

2. 核模型

3. 層級模型

三. 最小二乘法(LS)

1. 無約束最小二乘法

線性模型中的應用

無約束最小二乘法解的性質

大規(guī)模學習

2.帶約束條件的最小二乘法

部分空間約束的LS

L2約束的LS

1. 標準L2約束的LS

2. 高斯核模型的L2約束優(yōu)化

2. 更一般L2約束的LS

3. 模型選擇

推薦閱讀更多精彩內容