0. 手推系列(LR坪仇、XGB)
https://blog.csdn.net/weixin_43258017/article/details/94562827
1. 馬爾科夫鏈
馬爾科夫性:第t時(shí)刻的狀態(tài)只依賴于前一時(shí)刻的狀態(tài)
馬爾科夫鏈擁有唯一穩(wěn)態(tài)分布的條件:不可約(全連通)栏笆、非周期、正常返(針對(duì)無(wú)窮時(shí)間)做入。
常返性:i可以到j(luò)冒晰,j也可以到i
2. 隱馬爾可夫模型HMM
模型基本概念
HMM是一個(gè)序列模型
"隱"指的每個(gè)觀測(cè)序列背后有一個(gè)隱藏的狀態(tài)序列無(wú)法被直接觀測(cè)到。
處理流程是先由一個(gè)馬爾科夫鏈按照設(shè)定的轉(zhuǎn)移概率竟块,隨機(jī)生成一個(gè)狀態(tài)轉(zhuǎn)義序列壶运。再由每個(gè)狀態(tài)按照觀測(cè)概率生成各自對(duì)應(yīng)的觀測(cè),組成觀測(cè)序列浪秘。
性質(zhì):
- 第t時(shí)刻的隱狀態(tài)只依賴于前一時(shí)刻的隱狀態(tài)蒋情,與更早的隱狀態(tài)、與所有觀測(cè)都無(wú)關(guān)耸携。
- 第t時(shí)刻的觀測(cè)只與該時(shí)刻的隱狀態(tài)有關(guān)棵癣。
模型三要素:
其中初始概率向量(長(zhǎng)度為N)表示隱狀態(tài)序列中第一個(gè)狀態(tài)為的概率:
是隱狀態(tài)的狀態(tài)轉(zhuǎn)移矩陣(NxN),表示從隱狀態(tài)i轉(zhuǎn)移到隱狀態(tài)j的概率:
是觀測(cè)概率矩陣(NxM)违帆,指在t時(shí)刻浙巫,隱狀態(tài)為的情況下生成觀測(cè)的概率:
研究問(wèn)題:
- 給定三要素和一個(gè)觀測(cè)序列,求它出現(xiàn)的概率刷后。(前向概率算法)
- 給定三要素和一個(gè)觀測(cè)序列的畴,求最有可能的隱狀態(tài)序列。(維特比算法)
3. 條件隨機(jī)場(chǎng)
https://spaces.ac.cn/archives/5542
https://blog.csdn.net/qq_41357569/article/details/119571694
單純地token分類問(wèn)題是:n個(gè)k分類問(wèn)題尝胆;而CRF考還慮了前一個(gè)位置的信息(即對(duì)每一個(gè)標(biāo)簽和每一個(gè)相鄰標(biāo)簽對(duì)分別打分)丧裁。
4. TextRank和PageRank
兩個(gè)模型的對(duì)比,以及自己訓(xùn)練并利用word2vec計(jì)算相似度的中文摘要 https://www.cnblogs.com/motohq/p/11887420.html
PageRank:
https://www.cnblogs.com/LittleHann/p/9969955.html#_label3_2_0_2
加平滑項(xiàng)(應(yīng)該是(1-d)/n含衔,表示用戶停止點(diǎn)擊鏈接煎娇,從當(dāng)前頁(yè)面隨機(jī)跳到任何一個(gè)頁(yè)面)是因?yàn)橛行┚W(wǎng)頁(yè)沒(méi)有跳出去的鏈接二庵,那么轉(zhuǎn)移到其他網(wǎng)頁(yè)的概率將會(huì)是0,這樣就無(wú)法保證存在馬爾科夫鏈的平穩(wěn)分布缓呛。
TextRank:
不過(guò)其實(shí)similarity可以自己定義催享,如連接中用w2v相似性,然后調(diào)用networks中的pagerank方法哟绊。
5. SVM調(diào)庫(kù)
https://blog.csdn.net/u012526003/article/details/79088214
SVM可以將和分類平面的距離作為置信度(probability)
https://blog.csdn.net/qq_38236355/article/details/96432014
6.GPT2
huggingface transformers源碼解析
https://www.cnblogs.com/phyger/p/14188608.html
7. BERT
Bert模型的細(xì)節(jié)描述和圖
https://www.cnblogs.com/bubblebeee/p/15517950.html
8. LTP
詞性標(biāo)注等符號(hào)解釋 https://blog.csdn.net/caicai0001000/article/details/108790347
9. EM算法例子
http://www.reibang.com/p/1121509ac1dc
https://blog.csdn.net/v_JULY_v/article/details/81708386