一惯雳、引子
對于非線性的分類問題，當(dāng)自變量較多的時候鸿摇，用之前的回歸的方法就會非常復(fù)雜石景，因為在我們要擬合的函數(shù)項的可能性會爆炸。
例如拙吉，如果我們有100個自變量（x1潮孽、x2、x3...x100）筷黔，如果只考慮最后是二階的函數(shù)往史，那么特征就有：x1、x1^2佛舱、 x1x2椎例、x1x3...x100挨决、x100^2， 復(fù)雜度是O(n^2)
那么這種輸入很多的情況會怎么出現(xiàn)呢订歪？
計算機視覺２逼怼！
隨便一張可辨認(rèn)內(nèi)容的圖片刷晋，像素都是幾百幾千朝上的撒犀。
假如有一張50*50像素的圖片，那么這張圖片上一共就有2500個像素點掏秩，如果我們要構(gòu)造二階的擬合函數(shù)或舞，那么特征數(shù)量就會是百萬級的！Ｃ苫谩映凳！
二、神經(jīng)元與大腦
神經(jīng)網(wǎng)絡(luò)其實是個很早就被提出了邮破，曾經(jīng)因為受限于硬件水平而銷聲匿跡诈豌，近幾年才重新熱起來。
相關(guān)的生物學(xué)原理與腦干切除手術(shù)有關(guān)抒和，就不詳述了矫渔。
三、模型表示
1.單個神經(jīng)元
真正的神經(jīng)細(xì)胞由細(xì)胞體和突起組成摧莽。
而突起又分為樹突和軸突庙洼。樹突接收多個其他神經(jīng)細(xì)胞的沖動，而軸突向多個其他神經(jīng)細(xì)胞傳遞沖動镊辕。
因此油够，模仿生物細(xì)胞建立模型——Logistic unit（邏輯單元）。
在我們的神經(jīng)網(wǎng)絡(luò)模型中征懈，邏輯單元包括輸入和輸出石咬，決定如何輸出的函數(shù)叫激活函數(shù)（g(z)），而決定x在z中系數(shù)的Θ又叫作權(quán)重卖哎。
參考之前邏輯回歸使鬼悠，會有一個常數(shù)項。所以亏娜，在某個神經(jīng)元之前的所有神經(jīng)元中焕窝，有時會設(shè)置一個值永遠(yuǎn)固定為1的單元，叫做bias unit（偏置單元照藻？袜啃？）汗侵。
2.神經(jīng)網(wǎng)絡(luò)
由多層的神經(jīng)元組成的網(wǎng)絡(luò)幸缕。
第一層被叫做輸入層（input layer）群发；輸出最后值之前的最后一個網(wǎng)絡(luò)叫作輸出層（output layer），輸出層只有一個神經(jīng)元发乔；中間的叫做隱藏層（hidden layer）熟妓，因為這種層的結(jié)果我們不需要去理解。
3. 參數(shù)表示
- ai(j)→j層的第i個神經(jīng)元的activation（激活栏尚？起愈？）
- Θ(j)→由第j層到第j+1層的映射權(quán)重矩陣，這個矩陣的尺寸取決于j層和j+1層的單元數(shù)译仗。
若s(j)表示第j層的單元數(shù)抬虽，則Θ(j)的維度為：(s(j+1))*(s(j)+1)。s(j)+1纵菌，加的是偏置單元阐污。
前向傳播
其實與之前的回歸差不多，但是之前是一次性把那么多特征納入到一次訓(xùn)練中咱圆，而神經(jīng)網(wǎng)絡(luò)前向傳播是把這個過程拆分給了多個層去完成笛辟，這樣比較適合并行計算。
四序苏、應(yīng)用
1.非線性分類問題：XOR/XNOR
XOR手幢，異或
XNOR<=>NOT(XOR)互斥反或
都是非線性的
可以通過AND围来、OR、NAND匈睁、NOR這些線性的分類問題來構(gòu)造
AND
令z=20x1+20x2-30
h(z)=1/(1+e^(-z))
注意９芮！這里我作圖的時候把藍色“x”當(dāng)成false软舌，紅色“o”當(dāng)成true才漆，后面OR的圖像又不一樣了（懶得改了，意會即可）
OR
令z=20x1+20x2-10
h(z)=1/1(e^(-z))
藍色“o”是true佛点，紅色“x”是false
具體表格就不放了
NOT x
z=10-20x
(NOT x1）AND（NOT x2）
藍色“o”是false醇滥，紅色“x”是true
終于，我們湊齊了XNOR的兩種可能情況超营，一種是兩個同為true（x1 AND x2）鸳玩，另一種是兩個同為false（（NOT x1）AND（NOT x2）），這是第一層到第二層演闭；用OR將這兩種情況（即兩個節(jié)點）再關(guān)聯(lián)起來不跟，則會得到XNOR的結(jié)果，這是第二層到第三層米碰。
這樣的XNOR的邏輯網(wǎng)絡(luò)就總共有三層窝革，包括bias unit购城，總共有7個節(jié)點
2.多分類
one-vs-all
之前在回歸方法中就說過多分類，方法是一樣的虐译，最后輸出的不是一個數(shù)字瘪板，而是一個向量，向量的模約等于1漆诽，為1的維度即對應(yīng)著輸入哪一類
