誤差函數(shù)
-
首先深纲，我們先說兩個生活中的例子
- 第一個是下樓梯，比如你在一個天橋上有四個方向的 樓梯裸违，每個有20階。你需要到達平底即可本昏，那么這四個方向是沒有區(qū)別供汛，從哪個下去都會消耗一樣的體能和一樣的時間
- 第二個例子是下山，你站在華山頂涌穆，現(xiàn)在同樣要到達平面怔昨，有很多辦法，做索道啊走棧道八尴 （恐怖至極甚重啊兄弟）趁舀，或者一步一個腳印走下來。有句話說的好祝沸，“世上本無路矮烹，走的人多了便成了路”
那你呢越庇，要是窮逼還怕死，就只能走路嘍奉狈，當然我知道你也不傻卤唉，肯定不會選擇一條直線走下去啊，這走的每一步肯定都和你周圍的環(huán)境有關系仁期，選擇最佳的方向桑驱，適當調整步長之類的，我想有個坑你也不至于非得踩下去吧跛蛋。好熬的，就這樣，大家下山了赊级，每個人選的方式和走的路不同押框，肯定下山的時間和消耗的體力也就不同了
這兩個例子看完了，我要開始說這個誤差函數(shù)有什么關系了
誤差 Error 都知道此衅，現(xiàn)實情況和事實啊正確數(shù)據(jù)等等的偏差嘛强戴，而之前我說的你在天橋或山頂 到 地面的距離 就是誤差！
你想要回到平地挡鞍，就是在想辦法減小誤差下樓梯這中方法，每一個臺階就像是一個歸類錯誤的點预烙，每下一個臺階就像之前那個劃分點的線墨微，把一個歸類錯誤的點放回了出于自己的地方。顯而易見扁掸，對于這種離散的點翘县，我們很難判斷到底怎么走啊，就是我可能從天橋西邊做兩個感覺咋還沒下去谴分，我再回去東邊方向走兩節(jié)锈麸。
我就是想說啊，這個離散的點啊真的很討厭爬山可就不一樣了牺蹄，對于這種連續(xù)又沒有規(guī)則的山路忘伞，我就可以選擇很多很多了。這就像是連續(xù)數(shù)據(jù)形成的“誤差山”沙兰，我可以一點點來氓奈，舒舒服服走下去。（后面好好說）
現(xiàn)在我們來說說鼎天，非要用離散數(shù)據(jù)呢
一個點舀奶，在坐標軸上就是一個點。太小了斋射，我照顧了這個點不能照顧那個真的很煩育勺，所以啊但荤，我就把這個圓畫大一點吼吼，兩個好處 ：
- 之前下圖的誤差不就是有幾個點不在指定區(qū)域嗎（此圖為2）涧至，現(xiàn)在可一樣了腹躁，我把你放大了，我就用面積衡量你化借，說實在的潜慎，就是加上你離我的三八線是近是遠的條件嘍
2.有點的實在是分不到自己的區(qū)域，看看要是你半個身子在正確的地方蓖康，你就讓讓紅的嘛铐炫，不是每個人都能滿意嘛，男人多點承讓蒜焊，一定能成大事~５剐拧（我們女生也就不用成天生氣了）
總之，我現(xiàn)在不要非零即一泳梆，我需要0-1中間的百分率aaaaaa鳖悠，畢竟喜歡和不喜歡誰也說清楚啊，我需要你告訴我你多么喜歡我or多么不喜歡我优妙！
交叉熵
import numpy as np
# Write a function that takes as input two lists Y, P,
# and returns the float corresponding to their cross-entropy.
def cross_entropy(Y, P):
Y = np.float_(Y)
P = np.float_(P)
return - np.sum(Y*np.log(P)+(1-Y)*np.log(1-P))
神經(jīng)網(wǎng)絡
就像神經(jīng)元一樣乘综，兩個神經(jīng)元轉出來的內容，再經(jīng)過總和套硼，得到一個好的結果
下圖所示：
根據(jù)不同情況卡辰，對線性模型進行中和吧。
每個線性的不是有輸出嗎邪意，把他當做是輸入九妈，在進行權值相乘加上偏量，
經(jīng)過s函數(shù)雾鬼，變成0-1之間的數(shù)萌朱，然后就有了下圖的多層
-
多層級
并非所有神經(jīng)網(wǎng)絡都看起像上面的那樣〔卟耍可能會復雜的多晶疼！尤其是，我們可以執(zhí)行以下操作：
向輸入做入、隱藏和輸出層添加更多節(jié)點冒晰。
添加更多層級。
我們將在后面看看這些變化的效果竟块。
image.png
前向反饋
就是根據(jù)提供的權值和偏移量進行輸出壶运，然后和真實結果相比較得到誤差函數(shù)
反向傳播
現(xiàn)在，我們準備好訓練神經(jīng)網(wǎng)絡了浪秘。為此蒋情，我們將使用一種方法埠况，叫做反向傳播。簡而言之棵癣，反向傳播將包括：
- 進行前向反饋運算辕翰。
- 將模型的輸出與期望的輸出進行比較。
- 計算誤差狈谊。
- 向后運行前向反饋運算（反向傳播）喜命，將誤差分散
到每個權重上。 - 更新權重河劝，并獲得更好的模型壁榕。
- 繼續(xù)此流程，直到獲得很好的模型赎瞎。
通俗的說牌里，就是前兩個線性的合成了右面的非線性的，結果還是有分類錯的
那就是頂部模型的分類有錯嘍务甥，就返回去再更改上一層的權值嘍
