本周學(xué)習(xí)?Introduction to Neural Networks
二維分類(lèi)
多維分類(lèi)
感知器
添加輸入值x1到xn折剃，邊緣為權(quán)重w1到wn，b對(duì)應(yīng)偏置單元，那么節(jié)點(diǎn)計(jì)算線性方程wx+b铆隘，然后節(jié)點(diǎn)檢查值是否大于等于0加派，如果是叫确，返回值1，如果不是芍锦，返回值0竹勉。這里使用了一個(gè)隱函數(shù)，階躍函數(shù)娄琉，如果輸入為正數(shù)或0返回1次乓，如果輸入為負(fù)，階躍函數(shù)返回0孽水。
如何讓線離點(diǎn)
為了使用梯度下降法票腰，我們需要使用連續(xù)誤差函數(shù)，為此還需要將離散預(yù)測(cè)轉(zhuǎn)化成連續(xù)預(yù)測(cè)女气。
階躍函數(shù)轉(zhuǎn)變成sigmoid函數(shù)
Maximum Likelihood 最大似然法
交叉熵
如果有一系列事件及其對(duì)應(yīng)的發(fā)生概率杏慰，根據(jù)這些概率，這些事件發(fā)生的可能性有多大炼鞠？如果很有可能缘滥，那么交叉熵較小，如果不太可能谒主，那么交叉熵就會(huì)很大朝扼。
交叉熵推導(dǎo)式1
交叉熵推導(dǎo)式2
最小化誤差函數(shù)
非線性模型
