提到從文本中提取關(guān)鍵詞碟婆，我們第一想到的肯定是通過(guò)計(jì)算詞語(yǔ)的 TF-IDF 值來(lái)完成竖共，簡(jiǎn)單又粗暴。但是由于 TF-IDF 的結(jié)構(gòu)過(guò)于簡(jiǎn)單公给，有時(shí)提取關(guān)鍵詞的效果會(huì)很不理想。
本文將介紹一個(gè)由 Google 著名的網(wǎng)頁(yè)排序算法 PageRank 改編而來(lái)的算法——TextRank肺然，它利用圖模型來(lái)提取文章中的關(guān)鍵詞腿准。
TextRank原論文下載地址：TextRank: Bringing Order into Texts
PageRank##
PageRank 是一種通過(guò)網(wǎng)頁(yè)之間的超鏈接來(lái)計(jì)算網(wǎng)頁(yè)重要性的技術(shù)吐葱，以 Google 創(chuàng)辦人 Larry Page 之姓來(lái)命名，Google 用它來(lái)體現(xiàn)網(wǎng)頁(yè)的相關(guān)性和重要性唇撬。PageRank 通過(guò)網(wǎng)絡(luò)浩瀚的超鏈接關(guān)系來(lái)確定一個(gè)頁(yè)面的等級(jí)窖认，把從 A 頁(yè)面到 B 頁(yè)面的鏈接解釋為 A 頁(yè)面給 B 頁(yè)面投票告希，Google 根據(jù) A 頁(yè)面（甚至鏈接到 A 的頁(yè)面）的等級(jí)和投票目標(biāo)的等級(jí)來(lái)決定 B 的等級(jí)。簡(jiǎn)單的說(shuō)喝噪，一個(gè)高等級(jí)的頁(yè)面可以使其他低等級(jí)頁(yè)面的等級(jí)提升指么。
整個(gè)互聯(lián)網(wǎng)可以看作是一張有向圖圖榴鼎，網(wǎng)頁(yè)是圖中的節(jié)點(diǎn)晚唇，網(wǎng)頁(yè)之間的鏈接就是圖中的邊。如果網(wǎng)頁(yè) A 存在到網(wǎng)頁(yè) B 的鏈接平项，那么就有一條從網(wǎng)頁(yè) A 指向網(wǎng)頁(yè) B 的有向邊悍及。
構(gòu)造完圖后，使用下面的公式來(lái)計(jì)算網(wǎng)頁(yè) i的重要性（PR值）：
使用 TextRank 提取關(guān)鍵詞##
現(xiàn)在是要提取關(guān)鍵詞，如果把單詞視作圖中的節(jié)點(diǎn)（即把單詞看成句子）缨叫，那么所有邊的權(quán)值都為 0（兩個(gè)單詞沒(méi)有相似性），所以通常簡(jiǎn)單地把所有的權(quán)值都設(shè)為 1艰山。此時(shí)算法退化為 PageRank咏闪，因而把關(guān)鍵字提取算法稱為 PageRank 也不為過(guò)。
我們把文本拆分為單詞纵装，過(guò)濾掉停用詞（可選）据某，并只保留指定詞性的單詞（可選）悴灵，就得到了單詞的集合定踱。假設(shè)一段文本依次由下面的單詞組成：
現(xiàn)在將每個(gè)單詞作為圖中的一個(gè)節(jié)點(diǎn)，同一個(gè)窗口中的任意兩個(gè)單詞對(duì)應(yīng)的節(jié)點(diǎn)之間存在著一條邊埂材。然后利用投票的原理，將邊看成是單詞之間的互相投票严拒，經(jīng)過(guò)不斷迭代，每個(gè)單詞的得票數(shù)都會(huì)趨于穩(wěn)定挤牛。一個(gè)單詞的得票數(shù)越多巧骚，就認(rèn)為這個(gè)單詞越重要。
例如要從下面的文本中提取關(guān)鍵詞：
程序員(英文Programmer)是從事程序開(kāi)發(fā)竣蹦、維護(hù)的專業(yè)人員沧奴。一般將程序員分為程序設(shè)計(jì)人員和程序編碼人員，但兩者的界限并不非常清楚纲菌，特別是在中國(guó)疮绷。軟件從業(yè)人員分為初級(jí)程序員、高級(jí)程序員椅贱、系統(tǒng)分析員和項(xiàng)目經(jīng)理四大類只冻。
對(duì)這句話分詞，去掉里面的停用詞山橄，然后保留詞性為名詞舍悯、動(dòng)詞、形容詞丧诺、副詞的單詞奄薇。得出實(shí)際有用的詞語(yǔ)：
程序員, 英文, 程序, 開(kāi)發(fā), 維護(hù), 專業(yè), 人員, 程序員, 分為, 程序, 設(shè)計(jì), 人員, 程序, 編碼, 人員, 界限, 特別, 中國(guó), 軟件, 人員, 分為, 程序員, 高級(jí), 程序員, 系統(tǒng), 分析員, 項(xiàng)目, 經(jīng)理
現(xiàn)在建立一個(gè)大小為 9 的窗口抗愁，即相當(dāng)于每個(gè)單詞要將票投給它身前身后距離 5 以內(nèi)的單詞：
開(kāi)發(fā)=[專業(yè), 程序員, 維護(hù), 英文, 程序, 人員]
軟件=[程序員, 分為, 界限, 高級(jí), 中國(guó), 特別, 人員]
程序員=[開(kāi)發(fā), 軟件, 分析員, 維護(hù), 系統(tǒng), 項(xiàng)目, 經(jīng)理, 分為, 英文, 程序, 專業(yè), 設(shè)計(jì), 高級(jí), 人員, 中國(guó)]
分析員=[程序員, 系統(tǒng), 項(xiàng)目, 經(jīng)理, 高級(jí)]
維護(hù)=[專業(yè), 開(kāi)發(fā), 程序員, 分為, 英文, 程序, 人員]
系統(tǒng)=[程序員, 分析員, 項(xiàng)目, 經(jīng)理, 分為, 高級(jí)]
項(xiàng)目=[程序員, 分析員, 系統(tǒng), 經(jīng)理, 高級(jí)]
經(jīng)理=[程序員, 分析員, 系統(tǒng), 項(xiàng)目]
分為=[專業(yè), 軟件, 設(shè)計(jì), 程序員, 維護(hù), 系統(tǒng), 高級(jí), 程序, 中國(guó), 特別, 人員]
英文=[專業(yè), 開(kāi)發(fā), 程序員, 維護(hù), 程序]
程序=[專業(yè), 開(kāi)發(fā), 設(shè)計(jì), 程序員, 編碼, 維護(hù), 界限, 分為, 英文, 特別, 人員]
特別=[軟件, 編碼, 分為, 界限, 程序, 中國(guó), 人員]
專業(yè)=[開(kāi)發(fā), 程序員, 維護(hù), 分為, 英文, 程序, 人員]
設(shè)計(jì)=[程序員, 編碼, 分為, 程序, 人員]
編碼=[設(shè)計(jì), 界限, 程序, 中國(guó), 特別, 人員]
界限=[軟件, 編碼, 程序, 中國(guó), 特別, 人員]
高級(jí)=[程序員, 軟件, 分析員, 系統(tǒng), 項(xiàng)目, 分為, 人員]
中國(guó)=[程序員, 軟件, 編碼, 分為, 界限, 特別, 人員]
人員=[開(kāi)發(fā), 程序員, 軟件, 維護(hù), 分為, 程序, 特別, 專業(yè), 設(shè)計(jì), 編碼, 界限, 高級(jí), 中國(guó)]
然后開(kāi)始迭代投票，直至收斂：
程序員=1.9249977,
人員=1.6290349,
分為=1.4027836,
程序=1.4025855,
高級(jí)=0.9747374,
軟件=0.93525416,
中國(guó)=0.93414587,
特別=0.93352026,
維護(hù)=0.9321688,
專業(yè)=0.9321688,
系統(tǒng)=0.885048,
編碼=0.82671607,
界限=0.82206935,
開(kāi)發(fā)=0.82074183,
分析員=0.77101076,
項(xiàng)目=0.77101076,
英文=0.7098714,
設(shè)計(jì)=0.6992446,
經(jīng)理=0.64640945
可以看到“程序員”的得票數(shù)最多饵隙，因而它是整段文本最重要的單詞沮脖。我們將文本中得票數(shù)多的若干單詞作為該段文本的關(guān)鍵詞，若多個(gè)關(guān)鍵詞相鄰驶俊，這些關(guān)鍵詞還可以構(gòu)成關(guān)鍵短語(yǔ)免姿。
