LeNet-5解析 AlexNet 首次使用Relu函數(shù)缺虐,droupout+BN 卷積網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化 減少計(jì)算量民逼,對(duì)于Alex的優(yōu)化 Incep...
圖像數(shù)據(jù)和邊緣檢測(cè) 上圖錯(cuò)字:達(dá)到瓶頸了 感受野 邊緣檢測(cè) 卷積神經(jīng)網(wǎng)絡(luò)(CNN)原理 卷積層 H:長(zhǎng),W:寬猎莲,F(xiàn):卷積核大小幅恋,P:零填充砂豌,S:...
神經(jīng)網(wǎng)絡(luò)調(diào)優(yōu) 調(diào)參技巧 運(yùn)行: 批標(biāo)準(zhǔn)化(BN) 批標(biāo)準(zhǔn)化公式 為什么批標(biāo)準(zhǔn)化能使優(yōu)化過程變簡(jiǎn)單 internal covraiate shif...
主網(wǎng)絡(luò)搭建流程 準(zhǔn)確率可以這么理解: 增加tensorflow的后臺(tái)顯示(可以在網(wǎng)頁看到變量的變化p39) 訓(xùn)練模型保存先嬉、模型存在加載模型進(jìn)行預(yù)...
序列模型 定義: 類型:語音識(shí)別轧苫、情感分類、機(jī)器翻譯 為什么序列模型使用CNN效果不好: 循環(huán)神經(jīng)網(wǎng)絡(luò) 定義: 類型: 基礎(chǔ)循環(huán)網(wǎng)絡(luò) 詞的表示 ...
偏差與方差 數(shù)據(jù)集劃分 過擬合和欠擬合 解決方法: 高方差是過擬合疫蔓,高偏差是欠擬合含懊。 正則化 邏輯回歸的L1與L2正則化 正則化項(xiàng)理解 神經(jīng)網(wǎng)絡(luò)...
優(yōu)化的問題:梯度消失、局部最優(yōu) 梯度消失衅胀、梯度爆炸 局部最優(yōu): 梯度下降 梯度下降的優(yōu)化影響 大小選擇 指數(shù)加權(quán)平均(梯度下降算法本身的優(yōu)化) ...
四層網(wǎng)絡(luò)的前向傳播和反向傳播 前向傳播: 以上公式是由單個(gè)樣本來進(jìn)行表示滚躯,每層經(jīng)過線性計(jì)算和激活函數(shù)兩步計(jì)算雏门。 反向傳播: 參數(shù)和超參數(shù) 參數(shù)初...
單個(gè)樣本的向量化表示 隱藏層:4個(gè)神經(jīng)元掸掏,輸出層:一個(gè)神經(jīng)元 激活函數(shù)的選擇 可選的函數(shù)有: 修改激活函數(shù)前的前向傳播和反向傳播