自然語(yǔ)言處理產(chǎn)品應(yīng)用
????????????? 在人工智能領(lǐng)域赡麦，會(huì)將所有人類(lèi)使用的語(yǔ)言視為“自然”語(yǔ)言猜憎。自然語(yǔ)言處理Natural
Language Processing娩怎，NLP 技術(shù)可以讓機(jī)器更加懂得人類(lèi)的自然語(yǔ)言，理解人類(lèi)通過(guò)語(yǔ)言所表達(dá)的含義胰柑。
一截亦、認(rèn)識(shí)NLP
?????? 1爬泥、常見(jiàn)自然語(yǔ)言處理的兩種方法
????????????? 1）基于規(guī)則來(lái)理解自然語(yǔ)言，即通過(guò)制定一系列的規(guī)則來(lái)設(shè)計(jì)一個(gè)程序崩瓤，然后通過(guò)這個(gè)程序來(lái)解決自然語(yǔ)言交流的問(wèn)題
????????????? 2）基于統(tǒng)計(jì)機(jī)器學(xué)習(xí)來(lái)理解自然語(yǔ)言袍啡，即用大量的數(shù)據(jù)通過(guò)機(jī)器學(xué)習(xí)算法來(lái)訓(xùn)練一個(gè)模型，然后通過(guò)這個(gè)模型來(lái)解決自然語(yǔ)言處理面臨的問(wèn)題
?????? 2却桶、自然語(yǔ)言處理系統(tǒng)離不開(kāi)語(yǔ)料庫(kù)和知識(shí)庫(kù)的支持
????????????? 語(yǔ)料庫(kù)：存放語(yǔ)言素材境输；知識(shí)庫(kù)：分兩類(lèi)，一類(lèi)是詞典颖系、規(guī)則庫(kù)嗅剖、語(yǔ)義概念庫(kù)等，分別于解析過(guò)程中的語(yǔ)法分析集晚、句法分析和語(yǔ)義分析對(duì)應(yīng)窗悯；另一類(lèi)語(yǔ)言知識(shí)存在于語(yǔ)料庫(kù)之中，每個(gè)語(yǔ)言單位的出現(xiàn)偷拔，其范疇蒋院、意義、用法都是確定的莲绰。
二欺旧、自然語(yǔ)言處理的流程
?????? 第一步語(yǔ)料獲取
?????? 第二步語(yǔ)料預(yù)處理：語(yǔ)料清洗、分詞蛤签、詞性標(biāo)注辞友、去停用詞
?????? 第三步特征構(gòu)建
?????? 第四步特征選擇
?????? 第五步模型訓(xùn)練：詞匯分析、句法分析震肮、語(yǔ)義分析称龙、語(yǔ)用分析
三、語(yǔ)言處理產(chǎn)品案例
?????? 1戳晌、常見(jiàn)任務(wù)
? ? ? ? ? ? ? ?問(wèn)答
? ? ? ? ? ? ??機(jī)器翻譯
? ? ? ? ? ? ? 摘要
? ? ? ? ? ? ? 語(yǔ)言推理
? ? ? ? ? ? ?情感分析
? ? ? ? ? ? ?語(yǔ)義角色標(biāo)注
? ? ? ? ? ? ?關(guān)系抽取
? ? ? ? ? ? ?任務(wù)驅(qū)動(dòng)多輪對(duì)話(huà)
? ? ? ? ? ? ?指代消解
? ? ? ? ? ? ?語(yǔ)義分析
? ? ? ? ? ? ?命名實(shí)體提取
?????? 2鲫尊、產(chǎn)品應(yīng)用形態(tài)
? ? ? ? ? ? ?人機(jī)對(duì)話(huà)類(lèi)產(chǎn)品
? ? ? ? ? ? 機(jī)器翻譯
? ? ? ? ? ? 閱讀理解
? ? ? ? ? ? 機(jī)器創(chuàng)作
?????? 3、語(yǔ)言處理產(chǎn)品評(píng)價(jià)標(biāo)準(zhǔn)
? ? ? ? ? ? 任務(wù)達(dá)成率
? ? ? ? ? ? 對(duì)話(huà)交互效率
? ? ? ? ? ? 平均單詞對(duì)話(huà)輪數(shù)
? ? ? ? ? ? ?相關(guān)性和新穎性
? ? ? ? ? ? ?留存率
? ? ? ? ? ? ?重復(fù)問(wèn)同樣問(wèn)題的比例
? ? ? ? ? ? ?無(wú)答案比例
? ? ? ? ? ? ?語(yǔ)料自然度和人性化程度
? ? ? ? ? ? ?情緒檢測(cè)
? ? ? ? ? ? ?常規(guī)指標(biāo)
?????? 4沦偎、語(yǔ)言處理的挑戰(zhàn)：語(yǔ)言的歧義疫向、語(yǔ)言的魯棒、知識(shí)依賴(lài)豪嚎、上下文搔驼、情緒識(shí)別
