神經(jīng)網(wǎng)絡(luò)(neural networks)是由具有適應(yīng)性的簡單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對真實世界物體所作出的交互反應(yīng)。
神經(jīng)元(neuron)
神經(jīng)網(wǎng)絡(luò)中最基本的成分是神經(jīng)元模型
神經(jīng)元接收到來自n個其他神經(jīng)元傳遞過來的輸入信號(xi)踪旷，這些輸入信號通過帶權(quán)重的連接(wi)進行傳遞,神經(jīng)元接收到的總輸入值將于神經(jīng)元的閾值進行比較敛助，然后通過激活函數(shù)(activation function)處理以產(chǎn)生神經(jīng)元的輸出骚勘。
h(x) is a linear function
h(x) = 0 defines a linear hyperplane
M = 1, h(x) = w0 + w1x1
M = 2, h(x) = w0 + w1x1 + w2x2
激活函數(shù)(activation function)
激活函數(shù)的選擇：
1.不使用線性二分的函數(shù)
因為在比較復雜的問題下我們使用線性二分函數(shù)的話在最后優(yōu)化的時候就會非常困難虹茶。
2.不使用線性函數(shù)
因為我們已經(jīng)選擇了線性函數(shù)作為我們最后的融合模型
把許多個這樣的神經(jīng)元按一定的層次結(jié)構(gòu)連接起來，就得到了神經(jīng)網(wǎng)絡(luò)踱启。
感知機(Perceptron）
感知機由兩層神經(jīng)元組成报账，輸入層接收外界信息輸入信號后傳遞給輸出層。
例子
用感知機來學習OR函數(shù)
但感知機不能用來學習XOR函數(shù)
感知機只有輸出層神經(jīng)元進行激活函數(shù)處理埠偿，即只擁有一層功能神經(jīng)元透罢。
如果數(shù)據(jù)是線性可分的，那么存在一個線性超平面能將它們分開冠蒋，感知器的學習過程會收斂來求得適當?shù)臋?quán)向量w
如果要解決非線性可分問題羽圃，需考慮使用多層功能神經(jīng)元。
收斂證明
http://www.cs.columbia.edu/~mcollins/courses/6998-2012/notes/perc.converge.pdf
代價函數(shù)(Cost Function)
