自然語(yǔ)言處理經(jīng)典算法

0. 手推系列(LR坪仇、XGB)

https://blog.csdn.net/weixin_43258017/article/details/94562827

1. 馬爾科夫鏈

馬爾科夫性:第t時(shí)刻的狀態(tài)只依賴于前一時(shí)刻的狀態(tài)
馬爾科夫鏈擁有唯一穩(wěn)態(tài)分布的條件:不可約(全連通)栏笆、非周期、正常返(針對(duì)無(wú)窮時(shí)間)做入。
常返性:i可以到j(luò)冒晰,j也可以到i

2. 隱馬爾可夫模型HMM

模型基本概念

HMM是一個(gè)序列模型
"隱"指的每個(gè)觀測(cè)序列背后有一個(gè)隱藏的狀態(tài)序列無(wú)法被直接觀測(cè)到。
處理流程是先由一個(gè)馬爾科夫鏈按照設(shè)定的轉(zhuǎn)移概率竟块,隨機(jī)生成一個(gè)狀態(tài)轉(zhuǎn)義序列壶运。再由每個(gè)狀態(tài)按照觀測(cè)概率生成各自對(duì)應(yīng)的觀測(cè),組成觀測(cè)序列浪秘。


image.png

image.png

性質(zhì)

  1. 第t時(shí)刻的隱狀態(tài)只依賴于前一時(shí)刻的隱狀態(tài)蒋情,與更早的隱狀態(tài)、與所有觀測(cè)都無(wú)關(guān)耸携。
  2. 第t時(shí)刻的觀測(cè)只與該時(shí)刻的隱狀態(tài)有關(guān)棵癣。

模型三要素\lambda=(A, B, \pi)
其中初始概率向量\pi_i(長(zhǎng)度為N)表示隱狀態(tài)序列中第一個(gè)狀態(tài)為q_i的概率:\pi_i=P(i_1=q_i)
A是隱狀態(tài)的狀態(tài)轉(zhuǎn)移矩陣(NxN),a_{ij}表示從隱狀態(tài)i轉(zhuǎn)移到隱狀態(tài)j的概率:a_{ij}=P(i_{i+1}=q_j|i_t=q_i)
B是觀測(cè)概率矩陣(NxM)违帆,b_ij指在t時(shí)刻浙巫,隱狀態(tài)為q_i的情況下生成觀測(cè)v_j的概率:b_{ij}=P(o_t=v_j|i_t=q_i)

研究問(wèn)題:

  1. 給定三要素\lambda和一個(gè)觀測(cè)序列O,求它出現(xiàn)的概率刷后。(前向概率算法)
  2. 給定三要素\lambda和一個(gè)觀測(cè)序列O的畴,求最有可能的隱狀態(tài)序列I。(維特比算法)

3. 條件隨機(jī)場(chǎng)

https://spaces.ac.cn/archives/5542
https://blog.csdn.net/qq_41357569/article/details/119571694
單純地token分類問(wèn)題是:n個(gè)k分類問(wèn)題尝胆;而CRF考還慮了前一個(gè)位置的信息(即對(duì)每一個(gè)標(biāo)簽和每一個(gè)相鄰標(biāo)簽對(duì)分別打分)丧裁。

4. TextRank和PageRank

兩個(gè)模型的對(duì)比,以及自己訓(xùn)練并利用word2vec計(jì)算相似度的中文摘要 https://www.cnblogs.com/motohq/p/11887420.html
PageRank:
https://www.cnblogs.com/LittleHann/p/9969955.html#_label3_2_0_2

image.png

image.png

加平滑項(xiàng)(應(yīng)該是(1-d)/n含衔,表示用戶停止點(diǎn)擊鏈接煎娇,從當(dāng)前頁(yè)面隨機(jī)跳到任何一個(gè)頁(yè)面)是因?yàn)橛行┚W(wǎng)頁(yè)沒(méi)有跳出去的鏈接二庵,那么轉(zhuǎn)移到其他網(wǎng)頁(yè)的概率將會(huì)是0,這樣就無(wú)法保證存在馬爾科夫鏈的平穩(wěn)分布缓呛。

TextRank:

image.png

image.png

不過(guò)其實(shí)similarity可以自己定義催享,如連接中用w2v相似性,然后調(diào)用networks中的pagerank方法哟绊。

5. SVM調(diào)庫(kù)

https://blog.csdn.net/u012526003/article/details/79088214
SVM可以將和分類平面的距離作為置信度(probability)
https://blog.csdn.net/qq_38236355/article/details/96432014

6.GPT2

huggingface transformers源碼解析
https://www.cnblogs.com/phyger/p/14188608.html

7. BERT

Bert模型的細(xì)節(jié)描述和圖
https://www.cnblogs.com/bubblebeee/p/15517950.html

8. LTP

詞性標(biāo)注等符號(hào)解釋 https://blog.csdn.net/caicai0001000/article/details/108790347

9. EM算法例子

http://www.reibang.com/p/1121509ac1dc
https://blog.csdn.net/v_JULY_v/article/details/81708386

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末因妙,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子票髓,更是在濱河造成了極大的恐慌攀涵,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,651評(píng)論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件洽沟,死亡現(xiàn)場(chǎng)離奇詭異以故,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)裆操,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,468評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門怒详,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人跷车,你說(shuō)我怎么就攤上這事棘利。” “怎么了朽缴?”我有些...
    開封第一講書人閱讀 162,931評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵善玫,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我密强,道長(zhǎng)茅郎,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,218評(píng)論 1 292
  • 正文 為了忘掉前任或渤,我火速辦了婚禮系冗,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘薪鹦。我一直安慰自己掌敬,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,234評(píng)論 6 388
  • 文/花漫 我一把揭開白布池磁。 她就那樣靜靜地躺著奔害,像睡著了一般。 火紅的嫁衣襯著肌膚如雪地熄。 梳的紋絲不亂的頭發(fā)上华临,一...
    開封第一講書人閱讀 51,198評(píng)論 1 299
  • 那天,我揣著相機(jī)與錄音端考,去河邊找鬼雅潭。 笑死揭厚,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的扶供。 我是一名探鬼主播筛圆,決...
    沈念sama閱讀 40,084評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼椿浓!你這毒婦竟也來(lái)了顽染?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 38,926評(píng)論 0 274
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤轰绵,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后尼荆,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體左腔,經(jīng)...
    沈念sama閱讀 45,341評(píng)論 1 311
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,563評(píng)論 2 333
  • 正文 我和宋清朗相戀三年捅儒,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了液样。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 39,731評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡巧还,死狀恐怖鞭莽,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情麸祷,我是刑警寧澤澎怒,帶...
    沈念sama閱讀 35,430評(píng)論 5 343
  • 正文 年R本政府宣布,位于F島的核電站阶牍,受9級(jí)特大地震影響喷面,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜走孽,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,036評(píng)論 3 326
  • 文/蒙蒙 一惧辈、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧磕瓷,春花似錦盒齿、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,676評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至陷舅,卻和暖如春倒彰,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背莱睁。 一陣腳步聲響...
    開封第一講書人閱讀 32,829評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工待讳, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留芒澜,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 47,743評(píng)論 2 368
  • 正文 我出身青樓创淡,卻偏偏與公主長(zhǎng)得像痴晦,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子琳彩,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,629評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容