NLP是什么?
?NLP( Natural Language Processing ) 是 自然 語言 處理 的 簡稱,是研究人與 計算機交互的語言問題的一門學科。機器理解并解釋人類寫作與說話方式的能力艾船。近年來, 深度學習技術(shù)在自然語言處理方面的研究和應(yīng)用也取得了顯著的成果琅坡。
NLP能做什么?
?NLP技術(shù)已經(jīng)無處不在如:提問和回答金句、知識工程泪勒、語言生成栅组、語音識別,語音合成, 自動分詞,句法分析,語法糾錯,關(guān)鍵詞提取,文本分類/聚類,文本自動摘要,信息檢索 (ES,Solr),信息抽取,知識圖譜,機器翻譯,人機對話,機器寫作,情感分析,文字識 別,閱讀理解,推薦系統(tǒng),高考機器人等。
有沒有實現(xiàn)這些算法通用的步驟
? 1)論文的閱讀,最新算法的研究
? 2)算法的大概方向的評估訓和確定
? 3)練數(shù)據(jù)收集,清洗以及數(shù)據(jù)預處理
? 4)算法實現(xiàn),系統(tǒng)設(shè)計,參數(shù)調(diào)優(yōu),模型升級
? 5)模型效果評估與部署
1)論文的閱讀,最新算法的研究
A梅掠、頂級會議論文
? 機器學習頂級會議:NIPS, ICML, UAI, AISTATS; (期刊:JMLR, ML,Trends in ML, IEEE T-NN)
? 計算機視覺和圖像識別:ICCV, CVPR, ECCV; (期刊:IEEE T-PAMI, IJCV, IEEE T-IP)
? 人工智能:IJCAI, AAAI; (期刊AI) ACL
B酌住、 搜索引擎(百度學術(shù),谷歌學術(shù),知乎,百度、谷歌阎抒、bing)
2)算法的大概方向的評估訓和確定
? A酪我、問題相似度評估
? B、情景相似度評估
? C且叁、語言 是否可切換
? D祭示、確定
3)數(shù)據(jù)收集,清洗以及數(shù)據(jù)預處理
? 數(shù)據(jù)收集:公司數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù)谴古、公開數(shù)據(jù)集、GAN生成數(shù)據(jù)
? 清洗:數(shù)據(jù)采樣,噪聲過濾,數(shù)據(jù)生成
? 數(shù)據(jù)預處理:特征化和數(shù)值化后轉(zhuǎn)化為可訓練的數(shù)據(jù)
4)算法實現(xiàn),系統(tǒng)設(shè)計,參數(shù)調(diào)優(yōu),模型升級
? 算法實現(xiàn):參考資料論文
? 系統(tǒng)設(shè)計:軟件模塊設(shè)計架構(gòu)
? 參數(shù)調(diào)優(yōu):更改網(wǎng)絡(luò)參數(shù)
? 模型升級:模型算法升級,錯誤樣本再訓練
5)模型效果評估與部署
? A稠歉、準確率
? B掰担、召回率
? C、設(shè)計lib庫本地調(diào)用
? D怒炸、封裝成服務(wù)
