Seq2Seq屬于典型的Encoder-Decoder結(jié)構(gòu). Encoder（編碼器）和Decoder（解碼器）分別代表兩個(gè)子模型珍逸，Encoder負(fù)責(zé)將輸入轉(zhuǎn)換為一種中間表達(dá)(語(yǔ)義向量)逐虚，Decoder根據(jù)中間表達(dá)產(chǎn)生輸出值. 在NLP任務(wù)中聋溜，Encoder和Decoder一般為RNN或其變種
"Greedy Decoding"（貪婪解碼）
Beam Search方法改進(jìn)：每一步，多選幾個(gè)作為輸入叭爱，然后綜合考慮撮躁，選出最優(yōu)的組合.
Beam Search（束搜索）是一種在序列生成任務(wù)中常用的啟發(fā)式搜索算法
Seq2Seq：串行 慢
）Seq2Seq的優(yōu)缺點(diǎn)
① 優(yōu)點(diǎn)
- 處理序列任務(wù)具有較高的精度和較好的適應(yīng)性
- 能處理輸入、輸出長(zhǎng)度不相等的問(wèn)題买雾，無(wú)需對(duì)序列進(jìn)行對(duì)齊和歸一化處理
- 是一個(gè)端對(duì)端模型把曼，在實(shí)際任務(wù)中使用方便
② 缺點(diǎn)
- 訓(xùn)練和推理速度較慢，因?yàn)槊恳徊蕉际且陨弦徊降妮敵鲎鳛檩斎肜齑瑢?dǎo)致并行化計(jì)算困難
- Encoder將整個(gè)輸入嗤军，壓縮到一個(gè)定長(zhǎng)的語(yǔ)義向量中，如果輸入序列過(guò)長(zhǎng)晃危，模型參數(shù)較小叙赚，會(huì)出現(xiàn)語(yǔ)義損失；如果模型參數(shù)過(guò)大僚饭，會(huì)出現(xiàn)信息過(guò)載的問(wèn)題
