1. 背景：
1.1 最早是由 Vladimir N. Vapnik 和 Alexey Ya. Chervonenkis 在1963年提出
1.2 目前的版本(soft margin)是由Corinna Cortes 和 Vapnik在1993年提出转晰，并在1995年發(fā)表
1.3 深度學(xué)習(xí)（2012）出現(xiàn)之前，SVM被認(rèn)為機(jī)器學(xué)習(xí)中近十幾年來(lái)最成功酵幕，表現(xiàn)最好的算法
2. 機(jī)器學(xué)習(xí)的一般框架：
訓(xùn)練集 => 提取特征向量 => 結(jié)合一定的算法（分類器：比如決策樹扰藕，KNN）=>得到結(jié)果
3. 介紹：
3.1 例子：
兩類未桥？哪條線最好冬耿？
3.2 SVM尋找區(qū)分兩類的超平面（hyper plane), 使邊際(margin)最大
總共可以有多少個(gè)可能的超平面？無(wú)數(shù)條
如何選取使邊際(margin)最大的超平面 (Max Margin Hyperplane)染乌？
超平面到一側(cè)最近點(diǎn)的距離等于到另一側(cè)最近點(diǎn)的距離，兩側(cè)的兩個(gè)超平面平行
3. 線性可區(qū)分(linear separable) 和 線性不可區(qū)分 （linear inseparable)
4. 定義與公式建立
超平面可以定義為：
W: weight vectot, n 是特征值的個(gè)數(shù)
X: 訓(xùn)練實(shí)例
b: bias
4.1 假設(shè)2維特征向量：X = (x1, X2)
把 b 想象為額外的 wight
超平面方程變?yōu)椋?
所有超平面右上方的點(diǎn)滿足：
所有超平面左下方的點(diǎn)滿足：
調(diào)整weight瘫里，使超平面定義邊際的兩邊：
所有坐落在邊際的兩邊的的超平面上的被稱作”支持向量(support vectors)"
分界的超平面和H1或H2上任意一點(diǎn)的距離為 [圖片上傳失敗...(image-3d5ae2-1513601715828)]
(i.e.: 其中||W||是向量的范數(shù)(norm))
[圖片上傳失敗...(image-565e4d-1513601715828)]
所以，最大邊際距離為： [圖片上傳失敗...(image-4a7112-1513601715828)]
5. 求解
5.1 SVM如何找出最大邊際的超平面呢(MMH)劳殖？
利用一些數(shù)學(xué)推倒哆姻，以上公式 （1）可變?yōu)橛邢拗频耐箖?yōu)化問(wèn)題(convex quadratic optimization)
利用 Karush-Kuhn-Tucker (KKT)條件和拉格朗日公式矛缨，可以推出MMH可以被表示為以下“決定邊
界 (decision boundary)”
[圖片上傳失敗...(image-788aa2-1513601715828)]
其中箕昭，
[圖片上傳中...(image-a5bb31-1513601715828-6)]
是支持向量點(diǎn)[圖片上傳中...(image-fa7106-1513601715828-5)]
（support vector)的類別標(biāo)記（class label)
[圖片上傳中...(image-c09f97-1513601715828-4)]
是要測(cè)試的實(shí)例
[圖片上傳中...(image-1e7b3c-1513601715828-3)]
和 [圖片上傳中...(image-802948-1513601715828-2)]
都是單一數(shù)值型參數(shù)，由以上提到的最有算法得出
[圖片上傳中...(image-43057-1513601715828-1)]
是支持向量點(diǎn)的個(gè)數(shù)
5.2 對(duì)于任何測(cè)試（要?dú)w類的）實(shí)例筋量，帶入以上公式，得出的符號(hào)是正還是負(fù)決定
6. 例子：
[圖片上傳失敗...(image-7be259-1513601715827)] <a name="2160" style="color: rgb(0, 0, 0); font-family: Tahoma; font-size: 13.3333px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">1\. 背景：
1.1 最早是由 Vladimir N. Vapnik 和 Alexey Ya. Chervonenkis 在1963年提出
1.2 目前的版本(soft margin)是由Corinna Cortes 和 Vapnik在1993年提出，并在1995年發(fā)表
1.3 深度學(xué)習(xí)（2012）出現(xiàn)之前凉蜂，SVM被認(rèn)為機(jī)器學(xué)習(xí)中近十幾年來(lái)最成功窿吩，表現(xiàn)最好的算法
2. 機(jī)器學(xué)習(xí)的一般框架：
訓(xùn)練集 => 提取特征向量 => 結(jié)合一定的算法（分類器：比如決策樹纫雁，KNN）=>得到結(jié)果
3. 介紹：
3.1 例子：
[圖片上傳失敗...(image-d2cb45-1513601715828)]
兩類？哪條線最好忌愚？
3.2 SVM尋找區(qū)分兩類的超平面（hyper plane), 使邊際(margin)最大
[圖片上傳失敗...(image-d3b8ab-1513601715828)]
總共可以有多少個(gè)可能的超平面硕糊？無(wú)數(shù)條
如何選取使邊際(margin)最大的超平面 (Max Margin Hyperplane)简十？
超平面到一側(cè)最近點(diǎn)的距離等于到另一側(cè)最近點(diǎn)的距離，兩側(cè)的兩個(gè)超平面平行
3. 線性可區(qū)分(linear separable) 和 線性不可區(qū)分 （linear inseparable)
[圖片上傳失敗...(image-a1909f-1513601715828)]
[圖片上傳失敗...(image-1c90b0-1513601715828)]
[圖片上傳失敗...(image-1fa4e1-1513601715828)]
4. 定義與公式建立
超平面可以定義為：[圖片上傳失敗...(image-e1dfc5-1513601715828)]
W: weight vectot, [圖片上傳失敗...(image-9f878d-1513601715828)]
, n 是特征值的個(gè)數(shù)
X: 訓(xùn)練實(shí)例
b: bias
[圖片上傳失敗...(image-e63c2c-1513601715828)]
4.1 假設(shè)2維特征向量：X = (x1, X2)
把 b 想象為額外的 wight
超平面方程變?yōu)椋?[圖片上傳失敗...(image-69abb3-1513601715828)]
所有超平面右上方的點(diǎn)滿足：[圖片上傳失敗...(image-23b251-1513601715828)]
所有超平面左下方的點(diǎn)滿足： [圖片上傳失敗...(image-28c149-1513601715828)]
調(diào)整weight胶逢，使超平面定義邊際的兩邊：
[圖片上傳失敗...(image-6defd6-1513601715828)]
綜合以上兩式初坠，得到： （1）
[圖片上傳失敗...(image-bb8918-1513601715828)]
所有坐落在邊際的兩邊的的超平面上的被稱作”支持向量(support vectors)"
分界的超平面和H1或H2上任意一點(diǎn)的距離為 [圖片上傳失敗...(image-3d5ae2-1513601715828)]
(i.e.: 其中||W||是向量的范數(shù)(norm))
[圖片上傳失敗...(image-565e4d-1513601715828)]
所以，最大邊際距離為： [圖片上傳失敗...(image-4a7112-1513601715828)]
5. 求解
5.1 SVM如何找出最大邊際的超平面呢(MMH)半沽？
利用一些數(shù)學(xué)推倒，以上公式 （1）可變?yōu)橛邢拗频耐箖?yōu)化問(wèn)題(convex quadratic optimization)
利用 Karush-Kuhn-Tucker (KKT)條件和拉格朗日公式浩村，可以推出MMH可以被表示為以下“決定邊
界 (decision boundary)”
[圖片上傳失敗...(image-788aa2-1513601715828)]
其中心墅，
[圖片上傳失敗...(image-a5bb31-1513601715828)]
是支持向量點(diǎn)[圖片上傳中...(image-fa7106-1513601715828-5)]
（support vector)的類別標(biāo)記（class label)
[圖片上傳中...(image-c09f97-1513601715828-4)]
是要測(cè)試的實(shí)例
[圖片上傳中...(image-1e7b3c-1513601715828-3)]
和 [圖片上傳中...(image-802948-1513601715828-2)]
都是單一數(shù)值型參數(shù)，由以上提到的最有算法得出
[圖片上傳中...(image-43057-1513601715828-1)]
是支持向量點(diǎn)的個(gè)數(shù)
5.2 對(duì)于任何測(cè)試（要?dú)w類的）實(shí)例铐姚，帶入以上公式谦屑，得出的符號(hào)是正還是負(fù)決定
6. 例子：
[圖片上傳失敗...(image-7be259-1513601715827)]</a>
<a name="2160" style="color: rgb(0, 0, 0); font-family: Tahoma; font-size: 13.3333px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">1. 背景：
1.1 最早是由 Vladimir N. Vapnik 和 Alexey Ya. Chervonenkis 在1963年提出
1.2 目前的版本(soft margin)是由Corinna Cortes 和 Vapnik在1993年提出酝枢，并在1995年發(fā)表
1.3 深度學(xué)習(xí)（2012）出現(xiàn)之前帘睦，SVM被認(rèn)為機(jī)器學(xué)習(xí)中近十幾年來(lái)最成功诡延，表現(xiàn)最好的算法
2. 機(jī)器學(xué)習(xí)的一般框架：
訓(xùn)練集 => 提取特征向量 => 結(jié)合一定的算法（分類器：比如決策樹肆良，KNN）=>得到結(jié)果
3. 介紹：
3.1 例子：
[圖片上傳失敗...(image-d2cb45-1513601715828)]
兩類？哪條線最好巫糙？
3.2 SVM尋找區(qū)分兩類的超平面（hyper plane), 使邊際(margin)最大
[圖片上傳失敗...(image-d3b8ab-1513601715828)]
總共可以有多少個(gè)可能的超平面参淹？無(wú)數(shù)條
如何選取使邊際(margin)最大的超平面 (Max Margin Hyperplane)浙值？
超平面到一側(cè)最近點(diǎn)的距離等于到另一側(cè)最近點(diǎn)的距離妆够，兩側(cè)的兩個(gè)超平面平行
3. 線性可區(qū)分(linear separable) 和 線性不可區(qū)分 （linear inseparable)
[圖片上傳失敗...(image-a1909f-1513601715828)]
[圖片上傳失敗...(image-1c90b0-1513601715828)]
[圖片上傳失敗...(image-1fa4e1-1513601715828)]
4. 定義與公式建立
超平面可以定義為：[圖片上傳失敗...(image-e1dfc5-1513601715828)]
W: weight vectot, [圖片上傳失敗...(image-9f878d-1513601715828)]
, n 是特征值的個(gè)數(shù)
X: 訓(xùn)練實(shí)例
b: bias
[圖片上傳失敗...(image-e63c2c-1513601715828)]
4.1 假設(shè)2維特征向量：X = (x1, X2)
把 b 想象為額外的 wight
超平面方程變?yōu)椋?[圖片上傳失敗...(image-69abb3-1513601715828)]
所有超平面右上方的點(diǎn)滿足：[圖片上傳失敗...(image-23b251-1513601715828)]
所有超平面左下方的點(diǎn)滿足： [圖片上傳失敗...(image-28c149-1513601715828)]
調(diào)整weight，使超平面定義邊際的兩邊：
[圖片上傳失敗...(image-6defd6-1513601715828)]
綜合以上兩式家妆，得到： （1）
[圖片上傳失敗...(image-bb8918-1513601715828)]
所有坐落在邊際的兩邊的的超平面上的被稱作”支持向量(support vectors)"
分界的超平面和H1或H2上任意一點(diǎn)的距離為 [圖片上傳失敗...(image-3d5ae2-1513601715828)]
(i.e.: 其中||W||是向量的范數(shù)(norm))
[圖片上傳失敗...(image-565e4d-1513601715828)]
所以蛹找，最大邊際距離為： [圖片上傳失敗...(image-4a7112-1513601715828)]
5. 求解
5.1 SVM如何找出最大邊際的超平面呢(MMH)庸疾？
利用一些數(shù)學(xué)推倒，以上公式 （1）可變?yōu)橛邢拗频耐箖?yōu)化問(wèn)題(convex quadratic optimization)
利用 Karush-Kuhn-Tucker (KKT)條件和拉格朗日公式金顿，可以推出MMH可以被表示為以下“決定邊
界 (decision boundary)”
[圖片上傳失敗...(image-788aa2-1513601715828)]
其中，
[圖片上傳中...(image-a5bb31-1513601715828-6)]
是支持向量點(diǎn)[圖片上傳中...(image-fa7106-1513601715828-5)]
（support vector)的類別標(biāo)記（class label)
[圖片上傳失敗...(image-c09f97-1513601715828)]
是要測(cè)試的實(shí)例
[圖片上傳中...(image-1e7b3c-1513601715828-3)]
和 [圖片上傳中...(image-802948-1513601715828-2)]
都是單一數(shù)值型參數(shù)嫂拴，由以上提到的最有算法得出
[圖片上傳中...(image-43057-1513601715828-1)]
是支持向量點(diǎn)的個(gè)數(shù)
5.2 對(duì)于任何測(cè)試（要?dú)w類的）實(shí)例，帶入以上公式塞淹，得出的符號(hào)是正還是負(fù)決定
6. 例子：
[圖片上傳失敗...(image-7be259-1513601715827)]</a>
<a name="2160" style="color: rgb(0, 0, 0); font-family: Tahoma; font-size: 13.3333px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">1. 背景：
1.1 最早是由 Vladimir N. Vapnik 和 Alexey Ya. Chervonenkis 在1963年提出
1.2 目前的版本(soft margin)是由Corinna Cortes 和 Vapnik在1993年提出状共，并在1995年發(fā)表
1.3 深度學(xué)習(xí)（2012）出現(xiàn)之前，SVM被認(rèn)為機(jī)器學(xué)習(xí)中近十幾年來(lái)最成功谁帕，表現(xiàn)最好的算法
2. 機(jī)器學(xué)習(xí)的一般框架：
訓(xùn)練集 => 提取特征向量 => 結(jié)合一定的算法（分類器：比如決策樹峡继，KNN）=>得到結(jié)果
3. 介紹：
3.1 例子：
[圖片上傳失敗...(image-d2cb45-1513601715828)]
兩類？哪條線最好匈挖？
3.2 SVM尋找區(qū)分兩類的超平面（hyper plane), 使邊際(margin)最大
[圖片上傳失敗...(image-d3b8ab-1513601715828)]
總共可以有多少個(gè)可能的超平面碾牌？無(wú)數(shù)條
如何選取使邊際(margin)最大的超平面 (Max Margin Hyperplane)？
超平面到一側(cè)最近點(diǎn)的距離等于到另一側(cè)最近點(diǎn)的距離儡循，兩側(cè)的兩個(gè)超平面平行
3. 線性可區(qū)分(linear separable) 和 線性不可區(qū)分 （linear inseparable)
[圖片上傳失敗...(image-a1909f-1513601715828)]
[圖片上傳失敗...(image-1c90b0-1513601715828)]
[圖片上傳失敗...(image-1fa4e1-1513601715828)]
4. 定義與公式建立
超平面可以定義為：[圖片上傳失敗...(image-e1dfc5-1513601715828)]
W: weight vectot, [圖片上傳失敗...(image-9f878d-1513601715828)]
, n 是特征值的個(gè)數(shù)
X: 訓(xùn)練實(shí)例
b: bias
[圖片上傳失敗...(image-e63c2c-1513601715828)]
4.1 假設(shè)2維特征向量：X = (x1, X2)
把 b 想象為額外的 wight
超平面方程變?yōu)椋?[圖片上傳失敗...(image-69abb3-1513601715828)]
所有超平面右上方的點(diǎn)滿足：[圖片上傳失敗...(image-23b251-1513601715828)]
所有超平面左下方的點(diǎn)滿足： [圖片上傳失敗...(image-28c149-1513601715828)]
調(diào)整weight，使超平面定義邊際的兩邊：
[圖片上傳失敗...(image-6defd6-1513601715828)]
綜合以上兩式，得到： （1）
[圖片上傳失敗...(image-bb8918-1513601715828)]
所有坐落在邊際的兩邊的的超平面上的被稱作”支持向量(support vectors)"
分界的超平面和H1或H2上任意一點(diǎn)的距離為 [圖片上傳失敗...(image-3d5ae2-1513601715828)]
(i.e.: 其中||W||是向量的范數(shù)(norm))
[圖片上傳失敗...(image-565e4d-1513601715828)]
所以，最大邊際距離為： [圖片上傳失敗...(image-4a7112-1513601715828)]
5. 求解
5.1 SVM如何找出最大邊際的超平面呢(MMH)？
利用一些數(shù)學(xué)推倒，以上公式 （1）可變?yōu)橛邢拗频耐箖?yōu)化問(wèn)題(convex quadratic optimization)
利用 Karush-Kuhn-Tucker (KKT)條件和拉格朗日公式胚嘲，可以推出MMH可以被表示為以下“決定邊
界 (decision boundary)”
[圖片上傳失敗...(image-788aa2-1513601715828)]
其中晾嘶，
[圖片上傳中...(image-a5bb31-1513601715828-6)]
是支持向量點(diǎn)[圖片上傳中...(image-fa7106-1513601715828-5)]
（support vector)的類別標(biāo)記（class label)
[圖片上傳中...(image-c09f97-1513601715828-4)]
是要測(cè)試的實(shí)例
[圖片上傳中...(image-1e7b3c-1513601715828-3)]
和 [圖片上傳中...(image-802948-1513601715828-2)]
都是單一數(shù)值型參數(shù)楷拳，由以上提到的最有算法得出
[圖片上傳失敗...(image-43057-1513601715828)]
是支持向量點(diǎn)的個(gè)數(shù)
5.2 對(duì)于任何測(cè)試（要?dú)w類的）實(shí)例，帶入以上公式，得出的符號(hào)是正還是負(fù)決定
6. 例子：
[圖片上傳失敗...(image-7be259-1513601715827)]</a>
<a name="2160" style="color: rgb(0, 0, 0); font-family: Tahoma; font-size: 13.3333px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">1. 背景：
1.1 最早是由 Vladimir N. Vapnik 和 Alexey Ya. Chervonenkis 在1963年提出
1.2 目前的版本(soft margin)是由Corinna Cortes 和 Vapnik在1993年提出晋涣，并在1995年發(fā)表
1.3 深度學(xué)習(xí)（2012）出現(xiàn)之前偎巢，SVM被認(rèn)為機(jī)器學(xué)習(xí)中近十幾年來(lái)最成功瘤运，表現(xiàn)最好的算法
2. 機(jī)器學(xué)習(xí)的一般框架：
訓(xùn)練集 => 提取特征向量 => 結(jié)合一定的算法（分類器：比如決策樹郁季，KNN）=>得到結(jié)果
3. 介紹：
3.1 例子：
[圖片上傳失敗...(image-d2cb45-1513601715828)]
兩類？哪條線最好？
3.2 SVM尋找區(qū)分兩類的超平面（hyper plane), 使邊際(margin)最大
[圖片上傳失敗...(image-d3b8ab-1513601715828)]
總共可以有多少個(gè)可能的超平面？無(wú)數(shù)條
如何選取使邊際(margin)最大的超平面 (Max Margin Hyperplane)？
超平面到一側(cè)最近點(diǎn)的距離等于到另一側(cè)最近點(diǎn)的距離戒幔，兩側(cè)的兩個(gè)超平面平行
3. 線性可區(qū)分(linear separable) 和 線性不可區(qū)分 （linear inseparable)
[圖片上傳失敗...(image-a1909f-1513601715828)]
[圖片上傳失敗...(image-1c90b0-1513601715828)]
[圖片上傳失敗...(image-1fa4e1-1513601715828)]
4. 定義與公式建立
超平面可以定義為：[圖片上傳失敗...(image-e1dfc5-1513601715828)]
W: weight vectot, [圖片上傳失敗...(image-9f878d-1513601715828)]
, n 是特征值的個(gè)數(shù)
X: 訓(xùn)練實(shí)例
b: bias
[圖片上傳失敗...(image-e63c2c-1513601715828)]
4.1 假設(shè)2維特征向量：X = (x1, X2)
把 b 想象為額外的 wight
超平面方程變?yōu)椋?[圖片上傳失敗...(image-69abb3-1513601715828)]
所有超平面右上方的點(diǎn)滿足：[圖片上傳失敗...(image-23b251-1513601715828)]
所有超平面左下方的點(diǎn)滿足： [圖片上傳失敗...(image-28c149-1513601715828)]
調(diào)整weight王污，使超平面定義邊際的兩邊：
[圖片上傳失敗...(image-6defd6-1513601715828)]
綜合以上兩式，得到： （1）
[圖片上傳失敗...(image-bb8918-1513601715828)]
所有坐落在邊際的兩邊的的超平面上的被稱作”支持向量(support vectors)"
分界的超平面和H1或H2上任意一點(diǎn)的距離為 [圖片上傳失敗...(image-3d5ae2-1513601715828)]
(i.e.: 其中||W||是向量的范數(shù)(norm))
[圖片上傳失敗...(image-565e4d-1513601715828)]
所以，最大邊際距離為： [圖片上傳失敗...(image-4a7112-1513601715828)]
5. 求解
5.1 SVM如何找出最大邊際的超平面呢(MMH)捆愁？
利用一些數(shù)學(xué)推倒菩帝，以上公式 （1）可變?yōu)橛邢拗频耐箖?yōu)化問(wèn)題(convex quadratic optimization)
利用 Karush-Kuhn-Tucker (KKT)條件和拉格朗日公式辐董，可以推出MMH可以被表示為以下“決定邊
界 (decision boundary)”
[圖片上傳失敗...(image-788aa2-1513601715828)]
其中孤澎，
[圖片上傳中...(image-a5bb31-1513601715828-6)]
是支持向量點(diǎn)[圖片上傳中...(image-fa7106-1513601715828-5)]
（support vector)的類別標(biāo)記（class label)
[圖片上傳中...(image-c09f97-1513601715828-4)]
是要測(cè)試的實(shí)例
[圖片上傳失敗...(image-1e7b3c-1513601715828)]
和 [圖片上傳中...(image-802948-1513601715828-2)]
都是單一數(shù)值型參數(shù)，由以上提到的最有算法得出
[圖片上傳中...(image-43057-1513601715828-1)]
是支持向量點(diǎn)的個(gè)數(shù)
5.2 對(duì)于任何測(cè)試（要?dú)w類的）實(shí)例惊搏，帶入以上公式，得出的符號(hào)是正還是負(fù)決定
6. 例子：
[圖片上傳失敗...(image-7be259-1513601715827)]</a>
<a name="2160" style="color: rgb(0, 0, 0); font-family: Tahoma; font-size: 13.3333px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">1. 背景：
1.1 最早是由 Vladimir N. Vapnik 和 Alexey Ya. Chervonenkis 在1963年提出
1.2 目前的版本(soft margin)是由Corinna Cortes 和 Vapnik在1993年提出碗暗，并在1995年發(fā)表
1.3 深度學(xué)習(xí)（2012）出現(xiàn)之前言疗，SVM被認(rèn)為機(jī)器學(xué)習(xí)中近十幾年來(lái)最成功碰缔，表現(xiàn)最好的算法
2. 機(jī)器學(xué)習(xí)的一般框架：
訓(xùn)練集 => 提取特征向量 => 結(jié)合一定的算法（分類器：比如決策樹，KNN）=>得到結(jié)果
3. 介紹：
3.1 例子：
[圖片上傳失敗...(image-d2cb45-1513601715828)]
兩類匆绣？哪條線最好愕把？
3.2 SVM尋找區(qū)分兩類的超平面（hyper plane), 使邊際(margin)最大
[圖片上傳失敗...(image-d3b8ab-1513601715828)]
總共可以有多少個(gè)可能的超平面拣凹？無(wú)數(shù)條
如何選取使邊際(margin)最大的超平面 (Max Margin Hyperplane)跌捆？
超平面到一側(cè)最近點(diǎn)的距離等于到另一側(cè)最近點(diǎn)的距離可款，兩側(cè)的兩個(gè)超平面平行
3. 線性可區(qū)分(linear separable) 和 線性不可區(qū)分 （linear inseparable)
[圖片上傳失敗...(image-a1909f-1513601715828)]
[圖片上傳失敗...(image-1c90b0-1513601715828)]
[圖片上傳失敗...(image-1fa4e1-1513601715828)]
4. 定義與公式建立
超平面可以定義為：[圖片上傳失敗...(image-e1dfc5-1513601715828)]
W: weight vectot, [圖片上傳失敗...(image-9f878d-1513601715828)]
, n 是特征值的個(gè)數(shù)
X: 訓(xùn)練實(shí)例
b: bias
[圖片上傳失敗...(image-e63c2c-1513601715828)]
4.1 假設(shè)2維特征向量：X = (x1, X2)
把 b 想象為額外的 wight
超平面方程變?yōu)椋?[圖片上傳失敗...(image-69abb3-1513601715828)]
所有超平面右上方的點(diǎn)滿足：[圖片上傳失敗...(image-23b251-1513601715828)]
所有超平面左下方的點(diǎn)滿足： [圖片上傳失敗...(image-28c149-1513601715828)]
調(diào)整weight，使超平面定義邊際的兩邊：
[圖片上傳失敗...(image-6defd6-1513601715828)]
綜合以上兩式，得到： （1）
[圖片上傳失敗...(image-bb8918-1513601715828)]
所有坐落在邊際的兩邊的的超平面上的被稱作”支持向量(support vectors)"
分界的超平面和H1或H2上任意一點(diǎn)的距離為 [圖片上傳失敗...(image-3d5ae2-1513601715828)]
(i.e.: 其中||W||是向量的范數(shù)(norm))
[圖片上傳失敗...(image-565e4d-1513601715828)]
所以，最大邊際距離為： [圖片上傳失敗...(image-4a7112-1513601715828)]
5. 求解
5.1 SVM如何找出最大邊際的超平面呢(MMH)？
利用一些數(shù)學(xué)推倒，以上公式 （1）可變?yōu)橛邢拗频耐箖?yōu)化問(wèn)題(convex quadratic optimization)
利用 Karush-Kuhn-Tucker (KKT)條件和拉格朗日公式蛀骇，可以推出MMH可以被表示為以下“決定邊
界 (decision boundary)”
[圖片上傳失敗...(image-788aa2-1513601715828)]
其中，
[圖片上傳中...(image-a5bb31-1513601715828-6)]
是支持向量點(diǎn)[圖片上傳失敗...(image-fa7106-1513601715828)]
（support vector)的類別標(biāo)記（class label)
[圖片上傳中...(image-c09f97-1513601715828-4)]
是要測(cè)試的實(shí)例
[圖片上傳中...(image-1e7b3c-1513601715828-3)]
和 [圖片上傳中...(image-802948-1513601715828-2)]
都是單一數(shù)值型參數(shù)读拆，由以上提到的最有算法得出
[圖片上傳中...(image-43057-1513601715828-1)]
是支持向量點(diǎn)的個(gè)數(shù)
5.2 對(duì)于任何測(cè)試（要?dú)w類的）實(shí)例擅憔，帶入以上公式，得出的符號(hào)是正還是負(fù)決定
6. 例子：
[圖片上傳失敗...(image-7be259-1513601715827)]</a>
<a name="2160" style="color: rgb(0, 0, 0); font-family: Tahoma; font-size: 13.3333px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">1. 背景：
1.1 最早是由 Vladimir N. Vapnik 和 Alexey Ya. Chervonenkis 在1963年提出
1.2 目前的版本(soft margin)是由Corinna Cortes 和 Vapnik在1993年提出檐晕，并在1995年發(fā)表
1.3 深度學(xué)習(xí)（2012）出現(xiàn)之前暑诸，SVM被認(rèn)為機(jī)器學(xué)習(xí)中近十幾年來(lái)最成功，表現(xiàn)最好的算法
2. 機(jī)器學(xué)習(xí)的一般框架：
訓(xùn)練集 => 提取特征向量 => 結(jié)合一定的算法（分類器：比如決策樹辟灰，KNN）=>得到結(jié)果
3. 介紹：
3.1 例子：
[圖片上傳失敗...(image-d2cb45-1513601715828)]
兩類个榕？哪條線最好？
3.2 SVM尋找區(qū)分兩類的超平面（hyper plane), 使邊際(margin)最大
[圖片上傳失敗...(image-d3b8ab-1513601715828)]
總共可以有多少個(gè)可能的超平面芥喇？無(wú)數(shù)條
如何選取使邊際(margin)最大的超平面 (Max Margin Hyperplane)西采？
超平面到一側(cè)最近點(diǎn)的距離等于到另一側(cè)最近點(diǎn)的距離，兩側(cè)的兩個(gè)超平面平行
3. 線性可區(qū)分(linear separable) 和 線性不可區(qū)分 （linear inseparable)
[圖片上傳失敗...(image-a1909f-1513601715828)]
[圖片上傳失敗...(image-1c90b0-1513601715828)]
[圖片上傳失敗...(image-1fa4e1-1513601715828)]
4. 定義與公式建立
超平面可以定義為：[圖片上傳失敗...(image-e1dfc5-1513601715828)]
W: weight vectot, [圖片上傳失敗...(image-9f878d-1513601715828)]
, n 是特征值的個(gè)數(shù)
X: 訓(xùn)練實(shí)例
b: bias
[圖片上傳失敗...(image-e63c2c-1513601715828)]
4.1 假設(shè)2維特征向量：X = (x1, X2)
把 b 想象為額外的 wight
超平面方程變?yōu)椋?[圖片上傳失敗...(image-69abb3-1513601715828)]
所有超平面右上方的點(diǎn)滿足：[圖片上傳失敗...(image-23b251-1513601715828)]
所有超平面左下方的點(diǎn)滿足： [圖片上傳失敗...(image-28c149-1513601715828)]
調(diào)整weight继控，使超平面定義邊際的兩邊：
[圖片上傳失敗...(image-6defd6-1513601715828)]
綜合以上兩式苛让，得到： （1）
[圖片上傳失敗...(image-bb8918-1513601715828)]
所有坐落在邊際的兩邊的的超平面上的被稱作”支持向量(support vectors)"
分界的超平面和H1或H2上任意一點(diǎn)的距離為 [圖片上傳失敗...(image-3d5ae2-1513601715828)]
(i.e.: 其中||W||是向量的范數(shù)(norm))
[圖片上傳失敗...(image-565e4d-1513601715828)]
所以，最大邊際距離為： [圖片上傳失敗...(image-4a7112-1513601715828)]
5. 求解
5.1 SVM如何找出最大邊際的超平面呢(MMH)湿诊？
利用一些數(shù)學(xué)推倒狱杰，以上公式 （1）可變?yōu)橛邢拗频耐箖?yōu)化問(wèn)題(convex quadratic optimization)
利用 Karush-Kuhn-Tucker (KKT)條件和拉格朗日公式，可以推出MMH可以被表示為以下“決定邊
界 (decision boundary)”
[圖片上傳失敗...(image-788aa2-1513601715828)]
其中厅须，
[圖片上傳中...(image-a5bb31-1513601715828-6)]
是支持向量點(diǎn)[圖片上傳中...(image-fa7106-1513601715828-5)]
（support vector)的類別標(biāo)記（class label)
[圖片上傳中...(image-c09f97-1513601715828-4)]
是要測(cè)試的實(shí)例
[圖片上傳中...(image-1e7b3c-1513601715828-3)]
和 [圖片上傳失敗...(image-802948-1513601715828)]
都是單一數(shù)值型參數(shù)仿畸，由以上提到的最有算法得出
[圖片上傳中...(image-43057-1513601715828-1)]
是支持向量點(diǎn)的個(gè)數(shù)
5.2 對(duì)于任何測(cè)試（要?dú)w類的）實(shí)例，帶入以上公式朗和，得出的符號(hào)是正還是負(fù)決定
6. 例子：
[圖片上傳失敗...(image-7be259-1513601715827)]</a>
