RNN的結(jié)構
RNN的缺點
ref:https://blog.csdn.net/jizhidexiaoming/article/details/81743584
梯度消失
梯度爆炸
梯度消失：一句話搓蚪，RNN梯度消失是因為激活函數(shù)tanh函數(shù)的倒數(shù)在0到1之間执泰，反向傳播時更新前面時刻的參數(shù)時谭羔，當參數(shù)W初始化為小于1的數(shù)分预，則多個(tanh函數(shù)’ * W)相乘，將導致求得的偏導極姓拧（小于1的數(shù)連乘）谴仙，從而導致梯度消失陵刹。
梯度爆炸：當參數(shù)初始化為足夠大默伍，使得tanh函數(shù)的倒數(shù)乘以W大于1，則將導致偏導極大（大于1的數(shù)連乘）衰琐，從而導致梯度爆炸也糊。
RNN的不同結(jié)構
one to one：常常用在圖像分類，沒有循環(huán)結(jié)構比較簡單
one to many：常常用在圖片描述羡宙，輸入一張圖片輸出一堆文字
many to one：常常用在文本的情感分析狸剃，（yej：時序預測也可以）。
第四個和第五個有什么區(qū)別狗热？
many to many：一般做機器翻譯钞馁，輸入和輸出不同（Seq2Seq）虑省。
many to many：輸入和輸出的個數(shù)是一樣的，往往做視頻分類僧凰。
考慮上下文
精度更高探颈，但是計算量更多。
LSTM
緩解RNN的梯度消失和梯度爆炸
