image.png
從神經(jīng)網(wǎng)絡(luò)的方面來(lái)看：
image.png
最大似然的思想：
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
但是logistic有很多缺陷，比如下圖辜昵，在平面上掉弛，無(wú)法對(duì)其進(jìn)行分類(lèi)，所以我們希望對(duì)于feature進(jìn)行轉(zhuǎn)換
image.png
x表示到00的距離热监，y表示到11的捺弦，就可以使得這些點(diǎn)變得線性可分
image.png
如何使得機(jī)器自動(dòng)進(jìn)行transform？？
中間那兩個(gè)logistic的作用是feature的轉(zhuǎn)換列吼，將這一層的輸出作為一下層的輸入幽崩，可以做到將很多個(gè)邏輯回歸疊加在一起。
image.png
dong
動(dòng)態(tài)的調(diào)節(jié)learning rate
image.png
image.png
image.png
image.png
最合適的步長(zhǎng)不僅僅與一介騙倒寞钥，用一階來(lái)估算二階的慌申，因?yàn)槎A的計(jì)算復(fù)雜度很大，所以涉及到這里
希望走的步長(zhǎng)與一階倒數(shù)成正比理郑，但是一階沒(méi)有辦法跨參數(shù)來(lái)比較蹄溉，因?yàn)槟菢幼泳蜁?huì)不準(zhǔn)確
image.png
還要考慮二階倒數(shù)，但是為什么不直接用二階呢香浩，計(jì)算復(fù)雜类缤，為什么這一項(xiàng)可以用來(lái)估算二階導(dǎo)數(shù)
image.png
image.png
SGD:
image.png
原來(lái)是所有的點(diǎn)都加起來(lái)做loss function，現(xiàn)在是隨機(jī)的選一些點(diǎn)邻吭，然后做
image.png
image.png
