監(jiān)督學(xué)習(xí)
監(jiān)督學(xué)習(xí)（supervised learning）擅長(zhǎng)在“給定輸入特征”的情況下預(yù)測(cè)標(biāo)簽桐罕。 每個(gè)“特征-標(biāo)簽”對(duì)都稱為一個(gè)樣本（example）。 有時(shí)，即使標(biāo)簽是未知的，樣本也可以指代輸入特征复濒。 我們的目標(biāo)是生成一個(gè)模型，能夠?qū)⑷魏屋斎胩卣饔成涞綐?biāo)簽乒省，即預(yù)測(cè)巧颈。
舉一個(gè)具體的例子。 假設(shè)我們需要預(yù)測(cè)患者是否會(huì)心臟病發(fā)作袖扛，那么觀察結(jié)果“心臟病發(fā)作”或“心臟病沒有發(fā)作”將是我們的標(biāo)簽砸泛。 輸入特征可能是生命體征，如心率、舒張壓和收縮壓晾嘶。
監(jiān)督學(xué)習(xí)之所以發(fā)揮作用妓雾，是因?yàn)樵谟?xùn)練參數(shù)時(shí)，我們?yōu)槟Ｐ吞峁┝艘粋€(gè)數(shù)據(jù)集垒迂，其中每個(gè)樣本都有真實(shí)的標(biāo)簽械姻。 用概率論術(shù)語來說，我們希望預(yù)測(cè)“估計(jì)給定輸入特征的標(biāo)簽”的條件概率机断。 雖然監(jiān)督學(xué)習(xí)只是幾大類機(jī)器學(xué)習(xí)問題之一楷拳，但是在工業(yè)中，大部分機(jī)器學(xué)習(xí)的成功應(yīng)用都是監(jiān)督學(xué)習(xí)吏奸。 這是因?yàn)樵谝欢ǔ潭壬匣兑荆S多重要的任務(wù)可以清晰地描述為：在給定一組特定的可用數(shù)據(jù)的情況下，估計(jì)未知事物的概率奋蔚。比如：
根據(jù)計(jì)算機(jī)斷層掃描（CT）圖像預(yù)測(cè)是否為癌癥她混。
給出一個(gè)英語句子，預(yù)測(cè)正確的中文翻譯泊碑。
根據(jù)本月的財(cái)務(wù)報(bào)告數(shù)據(jù)預(yù)測(cè)下個(gè)月股票的價(jià)格坤按。
非正式地說，監(jiān)督學(xué)習(xí)的學(xué)習(xí)過程如下所示馒过。 首先臭脓，從已知大量數(shù)據(jù)樣本中隨機(jī)選取一個(gè)子集，為每個(gè)樣本獲取基本的真實(shí)標(biāo)簽腹忽。 有時(shí)来累，這些樣本已有標(biāo)簽（例如，患者是否在下一年內(nèi)康復(fù)窘奏？）嘹锁； 有時(shí)，我們可能需要人工標(biāo)記數(shù)據(jù)（例如蔼夜，將圖像分類）兼耀。 這些輸入和相應(yīng)的標(biāo)簽一起構(gòu)成了訓(xùn)練數(shù)據(jù)集。 隨后求冷，我們選擇有監(jiān)督的學(xué)習(xí)算法，它將訓(xùn)練數(shù)據(jù)集作為輸入窍霞，并輸出一個(gè)“完成學(xué)習(xí)模型”匠题。 最后，我們將之前沒見過的樣本特征放到這個(gè)“完成學(xué)習(xí)模型”中但金，使用模型的輸出作為相應(yīng)標(biāo)簽的預(yù)測(cè)韭山。 整個(gè)監(jiān)督學(xué)習(xí)過程在 圖1中繪制。
綜上所述，即使使用簡(jiǎn)單的描述“給定輸入特征的預(yù)測(cè)標(biāo)簽”钱磅，監(jiān)督學(xué)習(xí)也可以采取多種形式的模型梦裂，并且需要大量不同的建模決策，這取決于輸入和輸出的類型盖淡、大小和數(shù)量年柠。 例如，在處理“任意長(zhǎng)度的序列”或者“固定長(zhǎng)度的向量表示”時(shí)褪迟，我們可以使用不同的模型冗恨。 我們將在本書中深入探討這些問題。
1. 回歸
回歸（regression）是最簡(jiǎn)單的監(jiān)督學(xué)習(xí)任務(wù)之一味赃。 比方說掀抹，假設(shè)我們有一組房屋銷售數(shù)據(jù)表格，其中每行對(duì)應(yīng)于每個(gè)房子心俗，每列對(duì)應(yīng)于一些相關(guān)的屬性傲武，例如房屋的面積、臥室的數(shù)量城榛、浴室的數(shù)量以及到鎮(zhèn)中心的步行分鐘數(shù)等等揪利。 對(duì)機(jī)器學(xué)習(xí)來說，每個(gè)樣本即為一個(gè)特定的房屋吠谢，相應(yīng)的特征向量將是表中的一行土童。 如果你住在紐約或舊金山，而且你不是亞馬遜工坊、谷歌献汗、微軟或Facebook的首席執(zhí)行官，那么你家中的（平方英尺王污、臥室數(shù)量罢吃、浴室數(shù)量、步行距離）特征向量可能類似于：([600, 1, 1, 60])昭齐。 然而尿招，如果你住在匹茲堡，這個(gè)特征向量可能看起來更像([3000, 4, 3, 10])…… 為什么這個(gè)任務(wù)可以歸類于回歸問題呢阱驾？本質(zhì)上是輸出決定的就谜。 假設(shè)你在市場(chǎng)上尋找新房子，你可能需要估計(jì)一棟房子的公平市場(chǎng)價(jià)值里覆。 銷售價(jià)格丧荐，即標(biāo)簽，是一個(gè)數(shù)值喧枷。 當(dāng)標(biāo)簽取任意數(shù)值時(shí)虹统，我們稱之為回歸問題弓坞。 我們的目標(biāo)是生成一個(gè)模型，它的預(yù)測(cè)非常接近實(shí)際標(biāo)簽值车荔。
生活中的許多問題都可歸類于回歸問題渡冻。 比如，預(yù)測(cè)用戶對(duì)一部電影的評(píng)分可以被認(rèn)為是一個(gè)回歸問題忧便。 這里一個(gè)小插曲族吻，如果你在2009年設(shè)計(jì)了一個(gè)很棒的算法來預(yù)測(cè)電影評(píng)分，你可能會(huì)贏得100萬美元的奈飛獎(jiǎng)茬腿。 再比如呼奢，預(yù)測(cè)病人在醫(yī)院的住院時(shí)間也是一個(gè)回歸問題。 總而言之切平，判斷回歸問題的一個(gè)很好的經(jīng)驗(yàn)法則是握础，任何有關(guān)“多少”的問題很可能就是回歸問題。比如：
這個(gè)手術(shù)需要多少小時(shí)悴品？
在未來六小時(shí)禀综，這個(gè)鎮(zhèn)會(huì)有多少降雨量？
你可能發(fā)現(xiàn)苔严，即使你以前從未使用過機(jī)器學(xué)習(xí)定枷，可能在不經(jīng)意間，你已經(jīng)解決了一些回歸問題届氢。 例如欠窒，你讓人修理了排水管，你的承包商花了3個(gè)小時(shí)清除污水管道中的污物退子，然后他寄給你一張350美元的賬單岖妄。 而你的朋友雇了同一個(gè)承包商兩個(gè)小時(shí)，他收到了250美元的賬單寂祥。 如果有人請(qǐng)你估算的清理污物的費(fèi)用荐虐，你可以假設(shè)承包商有一些基本費(fèi)用，然后按小時(shí)收費(fèi)丸凭。 如果這些假設(shè)成立福扬，那么給出這兩個(gè)數(shù)據(jù)樣本，你就已經(jīng)可以確定承包商的定價(jià)結(jié)構(gòu)：每小時(shí)100美元惜犀，外加50美元上門服務(wù)費(fèi)铛碑。 你看，在不經(jīng)意間虽界，你就已經(jīng)理解并應(yīng)用了線性回歸的本質(zhì)亚茬。
以上假設(shè)有時(shí)這是不可取。 例如浓恳，如果一些差異是由于兩個(gè)特征之外的幾個(gè)因素造成的刹缝。 在這些情況下，我們將嘗試學(xué)習(xí)最小化”預(yù)測(cè)值和實(shí)際標(biāo)簽值的差異“的模型颈将。 在本書大部分章節(jié)中梢夯，我們將關(guān)注最小化平方誤差損失函數(shù)。 正如我們稍后將看到的晴圾，這種損失對(duì)應(yīng)于我們的數(shù)據(jù)被高斯噪聲破壞的假設(shè)颂砸。
2. 分類
雖然回歸模型可以很好地解決“有多少？“的問題死姚，但是很多問題并非如此人乓。 例如，一家銀行希望在其移動(dòng)應(yīng)用程序中添加支票掃描功能都毒。 具體地說色罚，這款應(yīng)用程序需要能夠自動(dòng)理解照片圖像中看到的文本，并將手寫字符映射到已知字符之一账劲。 這種“哪一個(gè)戳护？”的問題叫做分類（classification）問題。 在分類問題中瀑焦，我們希望模型能夠預(yù)測(cè)樣本屬于哪個(gè)類別（category腌且，正式稱為類（class））。 例如榛瓮，對(duì)于手寫數(shù)字铺董，我們可能有10類，分別數(shù)字0到9禀晓。 最簡(jiǎn)單的分類問題是只有兩類精续，我們稱之為“二元分類”。 例如匆绣，數(shù)據(jù)集可能由動(dòng)物圖像組成驻右，標(biāo)簽可能是(\mathrm{{貓, 狗}}兩類)。 在回歸中崎淳，我們訓(xùn)練一個(gè)回歸函數(shù)來輸出一個(gè)數(shù)值堪夭； 而在分類中，我們訓(xùn)練一個(gè)分類器拣凹，它的輸出即為預(yù)測(cè)的類別森爽。
然而模型怎么判斷得出這種“是”或“不是”的硬分類預(yù)測(cè)呢？ 我們可以試著用概率語言來理解模型嚣镜。 給定一個(gè)樣本特征爬迟，我們的模型為每個(gè)可能的類分配一個(gè)概率。 比如菊匿，之前的貓狗分類例子中付呕，分類器可能會(huì)輸出圖像是貓的概率為0.9计福。 0.9這個(gè)數(shù)字表達(dá)什么意思呢？ 我們可以這樣解釋：分類器90%確定圖像描繪的是一只貓徽职。 預(yù)測(cè)類別的概率的大小傳達(dá)了一種模型的不確定性象颖，后面討論其他運(yùn)用不確定性概念的算法。
當(dāng)我們有兩個(gè)以上的類別時(shí)姆钉，我們把這個(gè)問題稱為多類分類（multiclass classification）問題说订。 常見的例子包括手寫字符識(shí)別 (\mathrm{{0, 1, 2, ... 9, a, b, c, ...}})。 與解決回歸問題不同潮瓶，分類問題的常見損失函數(shù)被稱為交叉熵（cross-entropy）陶冷，在后面的章節(jié)中詳細(xì)闡述。
請(qǐng)注意毯辅，最常見的類別不一定是你將用于決策的類別埂伦。 舉個(gè)例子，假設(shè)你在后院發(fā)現(xiàn)了一個(gè)美麗的蘑菇悉罕，如 圖2 所示赤屋。
現(xiàn)在类早，請(qǐng)你訓(xùn)練一個(gè)毒蘑菇檢測(cè)分類器，根據(jù)照片預(yù)測(cè)蘑菇是否有毒嗜逻。 假設(shè)這個(gè)分類器輸出 圖 2包含死帽蕈的概率是0.2涩僻。 換句話說，分類器80%確定我們的蘑菇不是死帽蕈栈顷。 盡管如此逆日，我們也不會(huì)吃它，因?yàn)槲覀儾恢档妹?0%的死亡風(fēng)險(xiǎn)萄凤。 換句話說室抽，不確定風(fēng)險(xiǎn)的影響遠(yuǎn)遠(yuǎn)大于收益。 因此靡努，我們需要將“預(yù)期風(fēng)險(xiǎn)”作為損失函數(shù)坪圾。 也就是說，我們需要將結(jié)果的概率乘以與之相關(guān)的收益（或傷害）惑朦。 在這種情況下兽泄，食用蘑菇造成的損失為 (0.2 \times \infty + 0.8 \times 0 = \infty)，而丟棄蘑菇的損失為(0.2 \times 0 + 0.8 \times 1 = 0.8)漾月。 我們的謹(jǐn)慎是有道理的：正如任何真菌學(xué)家都會(huì)告訴我們的那樣病梢， 圖 2 中的蘑菇實(shí)際上是一個(gè)死帽蕈。
分類可能變得比二元分類梁肿、多類分類復(fù)雜得多蜓陌。 例如觅彰，有一些分類任務(wù)的變體可以用于尋找層次結(jié)構(gòu)，層次結(jié)構(gòu)假定在許多類之間存在某種關(guān)系护奈。 因此缔莲，并不是所有的錯(cuò)誤都是均等的。 我們寧愿錯(cuò)誤地分入一個(gè)相關(guān)的類別霉旗，也不愿錯(cuò)誤地分入一個(gè)遙遠(yuǎn)的類別，這通常被稱為層次分類(hierarchical classification)蛀骇。 早期的一個(gè)例子是卡爾·林耐人厌秒，他們把動(dòng)物組織分類成等級(jí)制。
在動(dòng)物分類的應(yīng)用中擅憔，把一只獅子狗（一種狗的品種）誤認(rèn)為雪納瑞（另一種狗的品種）可能不會(huì)太糟糕鸵闪。 但如果我們的模型將獅子狗與恐龍混淆，就滑稽至極了暑诸。 層次結(jié)構(gòu)相關(guān)性可能取決于你計(jì)劃如何使用模型蚌讼。 例如，響尾蛇和烏梢蛇血緣上可能很接近个榕，但如果把響尾蛇誤認(rèn)為是烏梢蛇可能會(huì)是致命的篡石。 因?yàn)轫懳采呤怯卸镜模鵀跎疑呤菬o毒的西采。
3. 標(biāo)記問題
有些分類問題很適合于二元分類或多類分類凰萨。 例如，我們可以訓(xùn)練一個(gè)普通的二元分類器來區(qū)分貓和狗械馆。 運(yùn)用最前沿的計(jì)算機(jī)視覺的算法胖眷，我們可以輕松地訓(xùn)練這個(gè)模型。 盡管如此霹崎，無論我們的模型有多精確珊搀，當(dāng)分類器遇到新的動(dòng)物時(shí)可能會(huì)束手無策。 比如這張“不來梅的城市音樂家”的圖像 圖 3（這是一個(gè)流行的德國(guó)童話故事）尾菇，圖中有一只貓境析，一只公雞，一只狗错沽，一頭驢簿晓，背景是一些樹。 取決于我們最終想用我們的模型做什么千埃，將其視為二元分類問題可能沒有多大意義憔儿。 取而代之，我們可能想讓模型描繪輸入圖像的內(nèi)容放可，一只貓谒臼、一只狗朝刊、一頭驢，還有一只公雞蜈缤。
學(xué)習(xí)預(yù)測(cè)不相互排斥的類別的問題稱為多標(biāo)簽分類（multilabel classification）。 舉個(gè)例子趾徽，人們?cè)诩夹g(shù)博客上貼的標(biāo)簽续滋，比如“機(jī)器學(xué)習(xí)”、“技術(shù)”孵奶、“小工具”疲酌、“編程語言”、“Linux”了袁、“云計(jì)算”朗恳、“AWS”。 一篇典型的文章可能會(huì)用5-10個(gè)標(biāo)簽载绿，因?yàn)檫@些概念是相互關(guān)聯(lián)的粥诫。 關(guān)于“云計(jì)算”的帖子可能會(huì)提到“AWS”，而關(guān)于“機(jī)器學(xué)習(xí)”的帖子也可能涉及“編程語言”卢鹦。
此外臀脏，在處理生物醫(yī)學(xué)文獻(xiàn)時(shí)，我們也會(huì)遇到這類問題冀自。 正確地標(biāo)記文獻(xiàn)很重要揉稚，有利于研究人員對(duì)文獻(xiàn)進(jìn)行詳盡的審查。 在國(guó)家醫(yī)學(xué)圖書館熬粗，一些專業(yè)的注釋員會(huì)檢查每一篇在PubMed中被索引的文章搀玖，以便將其與Mesh中的相關(guān)術(shù)語相關(guān)聯(lián)（Mesh是一個(gè)大約有28000個(gè)標(biāo)簽的集合）。 這是一個(gè)十分耗時(shí)的過程驻呐，注釋器通常在歸檔和標(biāo)記之間有一年的延遲灌诅。 這里，機(jī)器學(xué)習(xí)算法可以提供臨時(shí)標(biāo)簽含末，直到每一篇文章都有嚴(yán)格的人工審核猜拾。 事實(shí)上，近幾年來佣盒，BioASQ組織已經(jīng)舉辦比賽來完成這項(xiàng)工作挎袜。
4. 搜索
有時(shí)，我們不僅僅希望輸出為一個(gè)類別或一個(gè)實(shí)值。 在信息檢索領(lǐng)域盯仪，我們希望對(duì)一組項(xiàng)目進(jìn)行排序紊搪。 以網(wǎng)絡(luò)搜索為例，我們的目標(biāo)不是簡(jiǎn)單的“查詢（query）-網(wǎng)頁（page）”分類全景，而是在海量搜索結(jié)果中找到用戶最需要的那部分耀石。 搜索結(jié)果的排序也十分重要，我們的學(xué)習(xí)算法需要輸出有序的元素子集爸黄。 換句話說滞伟，如果要求我們輸出字母表中的前5個(gè)字母，返回“A馆纳、B诗良、C、D鲁驶、E”和“C、A舞骆、B钥弯、E、D”是不同的督禽。 即使結(jié)果集是相同的脆霎，集內(nèi)的順序有時(shí)卻很重要。
該問題的一種可能的解決方案：首先為集合中的每個(gè)元素分配相應(yīng)的相關(guān)性分?jǐn)?shù)狈惫，然后檢索評(píng)級(jí)最高的元素睛蛛。PageRank，谷歌搜索引擎背后最初的秘密武器就是這種評(píng)分系統(tǒng)的早期例子胧谈，但它的奇特之處在于它不依賴于實(shí)際的查詢忆肾。 在這里，他們依靠一個(gè)簡(jiǎn)單的相關(guān)性過濾來識(shí)別一組相關(guān)條目菱肖，然后根據(jù)PageRank對(duì)包含查詢條件的結(jié)果進(jìn)行排序客冈。 如今，搜索引擎使用機(jī)器學(xué)習(xí)和用戶行為模型來獲取網(wǎng)頁相關(guān)性得分稳强，很多學(xué)術(shù)會(huì)議也致力于這一主題场仲。
5. 推薦系統(tǒng)[]
另一類與搜索和排名相關(guān)的問題是推薦系統(tǒng)（recommender system），它的目標(biāo)是向給特定用戶進(jìn)行“個(gè)性化”推薦退疫。 例如渠缕，對(duì)于電影推薦，科幻迷和喜劇愛好者的推薦結(jié)果頁面可能會(huì)有很大不同褒繁。 類似的應(yīng)用也會(huì)出現(xiàn)在零售產(chǎn)品亦鳞、音樂和新聞推薦等等。
在某些應(yīng)用中，客戶會(huì)提供明確反饋蚜迅，表達(dá)他們對(duì)特定產(chǎn)品的喜愛程度舵匾。 例如，亞馬遜上的產(chǎn)品評(píng)級(jí)和評(píng)論谁不。 在其他一些情況下坐梯，客戶會(huì)提供隱性反饋。 例如刹帕，某用戶跳過播放列表中的某些歌曲吵血，這可能說明歌曲對(duì)此用戶不大合適。 總的來說偷溺，推薦系統(tǒng)會(huì)為“給定用戶和物品”的匹配性打分蹋辅，這個(gè)“分?jǐn)?shù)”可能是估計(jì)的評(píng)級(jí)或購買的概率。 由此挫掏，對(duì)于任何給定的用戶侦另，推薦系統(tǒng)都可以檢索得分最高的對(duì)象集，然后將其推薦給用戶尉共。以上只是簡(jiǎn)單的算法褒傅，而工藝生產(chǎn)的推薦系統(tǒng)要先進(jìn)得多，它會(huì)將詳細(xì)的用戶活動(dòng)和項(xiàng)目特征考慮在內(nèi)袄友。 推薦系統(tǒng)算法經(jīng)過調(diào)整殿托，可以捕捉一個(gè)人的偏好。 比如剧蚣， 圖4 是亞馬遜基于個(gè)性化算法推薦的深度學(xué)習(xí)書籍支竹，成功的捕捉了作者的喜好。
盡管推薦系統(tǒng)具有巨大的應(yīng)用價(jià)值鸠按，但單純用它作為預(yù)測(cè)模型仍存在一些缺陷礼搁。 首先，我們的數(shù)據(jù)只包含“審查后的反饋”：用戶更傾向于給他們感覺強(qiáng)烈的事物打分待诅。 例如叹坦，在五分制電影評(píng)分中，會(huì)有許多五星級(jí)和一星級(jí)評(píng)分卑雁，但三星級(jí)卻明顯很少募书。 此外，推薦系統(tǒng)有可能形成反饋循環(huán)：推薦系統(tǒng)首先會(huì)優(yōu)先推送一個(gè)購買量較大（可能被認(rèn)為更好）的商品测蹲，然而目前用戶的購買習(xí)慣往往是遵循推薦算法莹捡，但學(xué)習(xí)算法并不總是考慮到這一細(xì)節(jié)，進(jìn)而更頻繁地被推薦扣甲。 綜上所述篮赢，關(guān)于如何處理審查齿椅、激勵(lì)和反饋循環(huán)的許多問題，都是重要的開放性研究問題启泣。
6. 序列學(xué)習(xí)
以上大多問題都具有固定大小的輸入和產(chǎn)生固定大小的輸出涣脚。 例如，在預(yù)測(cè)房?jī)r(jià)的問題中寥茫，我們考慮從一組固定的特征：平方英尺遣蚀、臥室數(shù)量、浴室數(shù)量纱耻、步行到市中心的時(shí)間芭梯； 圖像分類問題中，輸入為固定尺寸的圖像弄喘，輸出則為固定數(shù)量（有關(guān)每一個(gè)類別）的預(yù)測(cè)概率玖喘； 在這些情況下，模型只會(huì)將輸入作為生成輸出的“原料”蘑志，而不會(huì)“記住”輸入的具體內(nèi)容累奈。
如果輸入的樣本之間沒有任何關(guān)系，以上模型可能完美無缺急但。 但是如果輸入是連續(xù)的费尽，我們的模型可能就需要擁有“記憶”功能了。 比如羊始，我們?cè)撊绾翁幚硪曨l片段呢？ 在這種情況下查描，每個(gè)代碼段可能由不同數(shù)量的幀組成突委。 通過前一幀的圖像，我們可能對(duì)后一幀中發(fā)生的事情的更有把握冬三。 語言也是如此匀油，機(jī)器翻譯的輸入和輸出都為文字序列。
再比如勾笆，在醫(yī)學(xué)上序列輸入和輸出就更為重要敌蚜。 設(shè)想一下，假設(shè)我們用一個(gè)模型來監(jiān)控重癥監(jiān)護(hù)病人窝爪，如果他們?cè)谖磥?4小時(shí)內(nèi)死亡的風(fēng)險(xiǎn)超過某個(gè)閾值弛车，這個(gè)模型就會(huì)發(fā)出警報(bào)。 我們絕不希望拋棄過去每小時(shí)有關(guān)病人病史的所有信息蒲每，而僅根據(jù)最近的測(cè)量結(jié)果做出預(yù)測(cè)纷跛。
這些問題是序列學(xué)習(xí)的實(shí)例，是機(jī)器學(xué)習(xí)最令人興奮的應(yīng)用之一邀杏。 序列學(xué)習(xí)需要攝取輸入序列或預(yù)測(cè)輸出序列贫奠，或兩者兼而有之。 具體來說，輸入和輸出都是可變長(zhǎng)度的序列唤崭，例如機(jī)器翻譯和從語音中轉(zhuǎn)錄文本拷恨。 雖然不可能考慮所有類型的序列轉(zhuǎn)換，但以下特殊情況值得一提谢肾。
標(biāo)記和解析腕侄。這涉及到用屬性注釋文本序列。 換句話說勒叠，輸入和輸出的數(shù)量基本上是相同的兜挨。 例如，我們可能想知道動(dòng)詞和主語在哪里眯分，或者拌汇，我們可能想知道哪些單詞是命名實(shí)體。 通常弊决，目標(biāo)是基于結(jié)構(gòu)和語法假設(shè)對(duì)文本進(jìn)行分解和注釋恭理，以獲得一些注釋烤镐。 這聽起來比實(shí)際情況要復(fù)雜得多。 下面是一個(gè)非常簡(jiǎn)單的示例，它使用標(biāo)記來注釋一個(gè)句子辞居，該標(biāo)記指示哪些單詞引用命名實(shí)體(標(biāo)記為“Ent”，是實(shí)體（entity）的簡(jiǎn)寫)辫封。
Tom has dinner in Washington with Sally
Ent---------------------------Ent-------------Ent
自動(dòng)語音識(shí)別厉熟。在語音識(shí)別中，輸入序列是說話人的錄音（如圖5所示）溉潭，輸出序列是說話人所說內(nèi)容的文本記錄净响。 它的挑戰(zhàn)在于，與文本相比喳瓣，音頻幀多得多（聲音通常以8kHz或16kHz采樣）馋贤。 也就是說，音頻和文本之間沒有1:1的對(duì)應(yīng)關(guān)系畏陕，因?yàn)閿?shù)千個(gè)樣本可能對(duì)應(yīng)于一個(gè)單獨(dú)的單詞配乓。 這也是“序列到序列”的學(xué)習(xí)問題，其中輸出比輸入短得多惠毁。
文本到語音犹芹。這與自動(dòng)語音識(shí)別相反。 換句話說仁讨，輸入是文本羽莺，輸出是音頻文件。 在這種情況下洞豁，輸出比輸入長(zhǎng)得多盐固。 雖然人類很容易識(shí)判斷發(fā)音別扭的音頻文件荒给，但這對(duì)計(jì)算機(jī)來說并不是那么簡(jiǎn)單。
機(jī)器翻譯刁卜。 在語音識(shí)別中志电，輸入和輸出的出現(xiàn)順序基本相同。 而在機(jī)器翻譯中蛔趴，顛倒輸入和輸出的順序非常重要挑辆。 換句話說，雖然我們?nèi)詫⒁粋€(gè)序列轉(zhuǎn)換成另一個(gè)序列孝情，但是輸入和輸出的數(shù)量以及相應(yīng)序列的順序大都不會(huì)相同鱼蝉。 比如下面這個(gè)例子，“錯(cuò)誤的對(duì)齊”反應(yīng)了德國(guó)人喜歡把動(dòng)詞放在句尾的特殊傾向箫荡。
德語: Haben Sie sich schon dieses grossartige Lehrwerk angeschaut?
英語: Did you already check out this excellent tutorial?
錯(cuò)誤的對(duì)齊: Did you yourself already this excellent tutorial looked-at?
其他學(xué)習(xí)任務(wù)也有序列學(xué)習(xí)的應(yīng)用魁亦。 例如，確定“用戶閱讀網(wǎng)頁的順序”是二維布局分析問題羔挡。 再比如洁奈，對(duì)話問題對(duì)序列的學(xué)習(xí)更為復(fù)雜：確定下一輪對(duì)話，需要考慮對(duì)話歷史狀態(tài)以及現(xiàn)實(shí)世界的知識(shí)…… 如上這些都是熱門的序列學(xué)習(xí)研究領(lǐng)域绞灼。
