RNN即循環(huán)神經(jīng)網(wǎng)絡(luò)纵隔，通常用來處理語音、文本等具有序列屬性的任務(wù)嘹承。
與人類理解文字的道理差不多窗价，看書都是一個字一個字，一句話一句話去理解的叹卷。語言本身作為一種符號并沒有意義撼港，只不過是人類對其賦予了意義。而這種意義體現(xiàn)在每個字（語義）以及字的順序（語義關(guān)系）上骤竹。RNN相當(dāng)于在通用神經(jīng)網(wǎng)絡(luò)上加入了人的先驗(yàn)知識帝牡，將文本信息按照序列輸入的方式處理。
RNN結(jié)構(gòu)
RNN對序列的基本思路是：在序列任務(wù)中前面的數(shù)據(jù)會對當(dāng)前的計算產(chǎn)生影響蒙揣。所以前一個cell的激活值會輸入到后一個cell中靶溜。這樣就其實(shí)就是對序列數(shù)據(jù)的特點(diǎn)做了一定程度的設(shè)計。
但是隨著序列長度變化懒震，激活值不斷堆疊后就會損失一些信息罩息，導(dǎo)致序列前面的信息對后面的影響變?nèi)酢Ｒ篮芏鄷r候語言的頭部信息對后面的信息可能有很大的影響个扰。所以目前應(yīng)用較廣泛的是LSTM模型瓷炮，在RNN基礎(chǔ)結(jié)構(gòu)上增加了一條長記憶線C，每個cell的X與A會使得C對信息進(jìn)行補(bǔ)充或者丟失锨匆，而具有序列重要信息的C會對A的激活值具有影響崭别。就像是模型附帶了一個小本本冬筒，遇到新鮮事兒就記進(jìn)去恐锣，然后在后續(xù)判斷將小本本的信息加入，產(chǎn)出更有可信度的激活值舞痰。
在RNN應(yīng)用過程中土榴，逐漸發(fā)現(xiàn)有時候當(dāng)前局部的計算不僅僅與前面的信息相關(guān)，也與后面的信息相關(guān)（特別是翻譯响牛、語音識別等）玷禽。所以提出了雙向RNN結(jié)構(gòu)，將前面的信息與后面的信息綜合起來做判斷呀打。
人在進(jìn)行信息判斷時矢赁，有時候不僅僅是綜合整個序列的信息，有時候更會抓住重點(diǎn)去分析以便快速得到更好的答案贬丛，在序列模型中每個輸入本身確實(shí)有重點(diǎn)撩银，比如吃與食物相關(guān)，在分析吃的字詞時只需將注意力分配到與食物相關(guān)得詞上豺憔，其他的并不重要额获，因此提出了注意力模型够庙。
如圖所示，經(jīng)過一個雙向RNN處理過的輸出值y抄邀，不同的y分配給不同的權(quán)重最終加和起來作為輸入耘眨，那么該輸入附帶的信息就會有偏向，從而模型會有更好的效果境肾。
正如前文所說剔难，所有的模型都不完美，在擬合過程中就會出現(xiàn)信息丟失准夷、梯度消失等現(xiàn)象钥飞，長短時記憶、雙向計算衫嵌、注意力機(jī)制都是典型的將人類知識加入模型中读宙，使得模型負(fù)擔(dān)減少，效果更好楔绞。
應(yīng)用
語言模型
將語料庫通過RNN模型訓(xùn)練后结闸，模型就學(xué)會了人話的規(guī)律，從而可以在給定條件下判斷下一個字是何字的概率酒朵，從而在多個場景有所應(yīng)用：
語音識別
當(dāng)語音通過聲學(xué)系統(tǒng)編碼與解碼處理后桦锄，最終要生成句子，由于發(fā)音的相似性句子不僅僅有一個蔫耽，這些句子可以通過語言模型來評分结耀，只留下人話概率最高的那個就是我們的模型識別結(jié)果。文字/序列生成
經(jīng)過語言模型訓(xùn)練后匙铡，可以從模型中取得話例图甜。比如將0帶入第一個輸入，我們會得到第一個初始詞鳖眼，再將該詞在第二個輸入中作為輸入值黑毅，以此類推最終會生成一個句子，這個句子遵循人話規(guī)律钦讳。假如用泰戈?duì)柕脑娮鳛橛?xùn)練集矿瘦，我們輸出的就是泰戈?duì)栵L(fēng)格的詩句。
同樣的方式可以應(yīng)用在音樂上愿卒，如果將音樂也當(dāng)做一種序列去訓(xùn)練缚去，最終我們也可以獲得某種音樂風(fēng)格的曲子，從而可以實(shí)現(xiàn)在文字上以及在音樂上的另類創(chuàng)作琼开。
情感識別
將RNN模型對接一個softmax輸出易结，就可以對句子進(jìn)行分類，通常用來判斷情感趨向。
除了可以通過分析句子得到情感判斷外衬衬，分析詞語也可以买猖。目前詞的使用都是將符號向量映射（Word2Vec算法）到語義空間上，所以詞向量本身就具有語義含義滋尉，通過訓(xùn)練可以做情感分類玉控。
翻譯
翻譯目前都是用如圖所示結(jié)構(gòu)，包含編碼器與解碼器狮惜。相當(dāng)于將語句A通過RNN編碼后灌入另一個模型去解碼為另一個語句B高诺，類似于卷積對圖片的編碼處理，序列模型在編碼解碼過程中也形成了一個表征語義的矩陣碾篡，該矩陣的語義表達(dá)與語言工具無關(guān)虱而，作為兩個語言之間的橋梁實(shí)現(xiàn)翻譯功能。借鑒人類翻譯過程中對前后文重點(diǎn)的讀取开泽，翻譯模型會用到注意力機(jī)制以達(dá)到更好的模型效果
實(shí)際上前一陣子出現(xiàn)過AI換臉這種生成式的任務(wù)在社區(qū)火爆牡拇，特別是色情網(wǎng)站。其實(shí)這種生成任務(wù)很多時候也會用到這種編碼-解碼樣式的結(jié)構(gòu)
人機(jī)對話
目前人機(jī)對話包含應(yīng)用場景：問答型穆律、聊天型惠呼、任務(wù)型。
問答型在很多客服領(lǐng)域應(yīng)用廣泛峦耘，解決了頭部高頻問題剔蹋。這類任務(wù)更多屬于機(jī)器學(xué)習(xí)，對用戶的疑問通過關(guān)鍵字檢測分類至我們預(yù)先設(shè)好的問題分類中辅髓。
聊天型機(jī)器人最典型的就是微軟小冰泣崩，要保持這種開放性對話需要系統(tǒng)知識，不斷產(chǎn)生新的話題洛口。這類Chatbot的目標(biāo)是實(shí)現(xiàn)《her》中的情感陪伴矫付，但是就目前發(fā)展來講，仍然不夠绍弟。
任務(wù)型機(jī)器人目前看起來最具有商業(yè)潛力技即，市面上的智能音箱基本屬于這類范疇著洼。目標(biāo)是識別用戶意圖后在封閉的話題區(qū)間內(nèi)進(jìn)行對話直至滿足用戶需求樟遣。
在任務(wù)驅(qū)動型的人機(jī)對話中，首先就是獲取人的意圖身笤。意圖的識別屬于自然語言理解豹悬，屬于一種分類任務(wù)。很多智能音箱平臺會推出一些技能液荸，這些技能實(shí)際上就對應(yīng)意圖所對應(yīng)的領(lǐng)域瞻佛。通過意圖識別后將業(yè)務(wù)處理邏輯落在這些技能上，技能與技能之間其實(shí)已經(jīng)沒有關(guān)聯(lián)，這樣的方式減輕了訓(xùn)練難度伤柄，使得機(jī)器人在特定任務(wù)上有更好的表現(xiàn)绊困。
在計算機(jī)處理人類請求后，不僅要判斷用戶的意圖分類适刀，還要對請求語進(jìn)行序列標(biāo)注（實(shí)體識別秤朗、實(shí)體關(guān)系抽取等），分析出該意圖下哪些必要信息已經(jīng)獲得笔喉，哪些信息沒有獲得取视，這些就是填槽的過程。
用戶的請求往往是含糊不清的常挚，多輪對話就是為了獲取在該意圖下所有的必要信息作谭。整個過程需要對話管理的支持，對話管理實(shí)際一個決策過程（策略樹）奄毡，系統(tǒng)在對話過程中不斷根據(jù)當(dāng)前狀態(tài)決定下一步應(yīng)該采取的最優(yōu)動作（如：提供結(jié)果折欠，詢問特定限制條件，澄清或確認(rèn)需求…）從而最有效的輔助用戶完成信息或服務(wù)獲取的任務(wù)吼过。對話管理的構(gòu)建更需要人工設(shè)計怨酝，但似乎通過強(qiáng)化學(xué)習(xí)也能得到最佳路徑。
DM對話管理過程中可能需要和用戶交互那先，就會用到自然語言生成农猬，將系統(tǒng)語義轉(zhuǎn)化為人類語言。這是個有限集售淡，用模板是一種選擇斤葱，同樣也可以用語言模型、類似翻譯的編碼解碼模型揖闸。
