自然語言處理是人工智能皇冠上的明珠
自然語言處理的基本流程:
- 分詞(Segment)
- 命名實體識別(NER)
- 詞性標注(Pos Tagging)
- 句法分析(短語結構分析回季、句子依存分析)
- 語義分析(包括:語義消歧剃诅,主要針對多義詞在文中的意思供填;語義角色標注脓魏,主要是標注出一個句子中主謂賓狀語等溶耘。語義角色標注過于依賴句法分析的準確性,不過目前句法分析的準確性并不是特別高瘾杭,因此語義角色標注的效果一般诅病。)
-
篇章分析(在一篇文章中段落的順序哪亿、句子的順序都是很重要的粥烁,按照正確的表達序列排序才能構成完整的篇章。在篇章分析中可以劃分的結構有篇章-段落-句子-詞蝇棉、篇章-句子-詞讨阻、篇章-詞等。)
以上的六個基本流程是自然語言處理中無法繞開的步驟篡殷,也是做好自然語言處理中最重要的環(huán)節(jié)钝吮。
自然語言處理的應用:
- 文本分類與情感分析(如:新聞自動分類、商品評價情感分析)
- 信息抽取與自動文摘(如:非結構化數(shù)據(jù)中抽取實體信息)
- 問答系統(tǒng)(如:IBM的Watson系統(tǒng))
- 信息檢索(如:搜索引擎)
- 人機對話系統(tǒng)Chatbot(如:微軟小冰)
- 機器翻譯(如:谷歌翻譯)
參考 自然語言處理簡述