CNN
image.png
卷積核的深度和輸入的深度一致裹匙，feature map的深度和卷積核的個數(shù)一致
RNN
包括雙向循環(huán)神經(jīng)網(wǎng)絡(luò)、深度循環(huán)神經(jīng)網(wǎng)絡(luò)只洒；循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法：BPTT
image.png
image.png
應(yīng)用
我 昨天 上學(xué) 遲到 了
1.分詞，向量化(one-hot或embedding)
2.獲取輸入-標(biāo)簽對
3.采用交叉熵誤差函數(shù)没龙，到這一步就比較類似word2vec了奢赂，可以用哈弗曼樹或負(fù)采樣
image.png
長短時記憶網(wǎng)絡(luò)
基本的循環(huán)神經(jīng)網(wǎng)絡(luò)存在梯度爆炸和梯度消失問題陪白，并不能真正的處理好長距離的依賴（雖然有一些技巧可以減輕這些問題），所以事實上膳灶，常用的是循環(huán)神經(jīng)網(wǎng)絡(luò)的一個變體：長短時記憶網(wǎng)絡(luò)咱士，可以很好的處理長距離的依賴
image.png
