http://www.ruanyifeng.com/blog/2013/03/tf-idf.html
假定現(xiàn)在有一篇長(zhǎng)文《中國(guó)的蜜蜂養(yǎng)殖》，我們準(zhǔn)備用計(jì)算機(jī)提取它的關(guān)鍵詞趾痘。
一個(gè)容易想到的思路帽撑，就是找到出現(xiàn)次數(shù)最多的詞离咐。如果某個(gè)詞很重要浑吟，它應(yīng)該在這篇文章中多次出現(xiàn)旱幼。于是查描，我們進(jìn)行"詞頻"（Term Frequency，縮寫(xiě)為T(mén)F）統(tǒng)計(jì)柏卤。
結(jié)果你肯定猜到了冬三，出現(xiàn)次數(shù)最多的詞是----"的"、"是"缘缚、"在"----這一類(lèi)最常用的詞勾笆。它們叫做"停用詞"（stop words），表示對(duì)找到結(jié)果毫無(wú)幫助桥滨、必須過(guò)濾掉的詞窝爪。
假設(shè)我們把它們都過(guò)濾掉了，只考慮剩下的有實(shí)際意義的詞齐媒。這樣又會(huì)遇到了另一個(gè)問(wèn)題蒲每，我們可能發(fā)現(xiàn)"中國(guó)"、"蜜蜂"喻括、"養(yǎng)殖"這三個(gè)詞的出現(xiàn)次數(shù)一樣多邀杏。這是不是意味著，作為關(guān)鍵詞唬血，它們的重要性是一樣的望蜡？
顯然不是這樣。因?yàn)?中國(guó)"是很常見(jiàn)的詞拷恨，相對(duì)而言泣特，"蜜蜂"和"養(yǎng)殖"不那么常見(jiàn)。如果這三個(gè)詞在一篇文章的出現(xiàn)次數(shù)一樣多挑随，有理由認(rèn)為状您，"蜜蜂"和"養(yǎng)殖"的重要程度要大于"中國(guó)"勒叠，也就是說(shuō)，在關(guān)鍵詞排序上面膏孟，"蜜蜂"和"養(yǎng)殖"應(yīng)該排在"中國(guó)"的前面眯分。
所以，我們需要一個(gè)重要性調(diào)整系數(shù)柒桑，衡量一個(gè)詞是不是常見(jiàn)詞弊决。如果某個(gè)詞比較少見(jiàn)，但是它在這篇文章中多次出現(xiàn)魁淳，那么它很可能就反映了這篇文章的特性飘诗，正是我們所需要的關(guān)鍵詞。
用統(tǒng)計(jì)學(xué)語(yǔ)言表達(dá)界逛，就是在詞頻的基礎(chǔ)上昆稿，要對(duì)每個(gè)詞分配一個(gè)"重要性"權(quán)重。最常見(jiàn)的詞（"的"息拜、"是"溉潭、"在"）給予最小的權(quán)重，較常見(jiàn)的詞（"中國(guó)"）給予較小的權(quán)重少欺，較少見(jiàn)的詞（"蜜蜂"喳瓣、"養(yǎng)殖"）給予較大的權(quán)重。這個(gè)權(quán)重叫做"逆文檔頻率"（Inverse Document Frequency赞别，縮寫(xiě)為IDF）畏陕，它的大小與一個(gè)詞的常見(jiàn)程度成反比。
知道了"詞頻"（TF）和"逆文檔頻率"（IDF）以后仿滔，將這兩個(gè)值相乘蹭秋，就得到了一個(gè)詞的TF-IDF值。某個(gè)詞對(duì)文章的重要性越高堤撵，它的TF-IDF值就越大仁讨。所以，排在最前面的幾個(gè)詞实昨，就是這篇文章的關(guān)鍵詞洞豁。
第一步，計(jì)算詞頻
第二步荒给，計(jì)算逆文檔頻率
這時(shí)丈挟，需要一個(gè)語(yǔ)料庫(kù)（corpus），用來(lái)模擬語(yǔ)言的使用環(huán)境志电。
如果一個(gè)詞越常見(jiàn)曙咽，那么分母就越大，逆文檔頻率就越小越接近0挑辆。分母之所以要加1例朱，是為了避免分母為0（即所有文檔都不包含該詞）孝情。log表示對(duì)得到的值取對(duì)數(shù)。
第三步洒嗤，計(jì)算TF-IDF
可以看到箫荡，TF-IDF與一個(gè)詞在文檔中的出現(xiàn)次數(shù)成正比，與該詞在整個(gè)語(yǔ)言中的出現(xiàn)次數(shù)成反比渔隶。所以羔挡，自動(dòng)提取關(guān)鍵詞的算法就很清楚了，就是計(jì)算出文檔的每個(gè)詞的TF-IDF值间唉，然后按降序排列绞灼，取排在最前面的幾個(gè)詞。
還是以《中國(guó)的蜜蜂養(yǎng)殖》為例呈野，假定該文長(zhǎng)度為1000個(gè)詞低矮，"中國(guó)"、"蜜蜂"际跪、"養(yǎng)殖"各出現(xiàn)20次商佛，則這三個(gè)詞的"詞頻"（TF）都為0.02喉钢。然后姆打，搜索Google發(fā)現(xiàn)，包含"的"字的網(wǎng)頁(yè)共有250億張肠虽，假定這就是中文網(wǎng)頁(yè)總數(shù)幔戏。包含"中國(guó)"的網(wǎng)頁(yè)共有62.3億張，包含"蜜蜂"的網(wǎng)頁(yè)為0.484億張税课，包含"養(yǎng)殖"的網(wǎng)頁(yè)為0.973億張闲延。則它們的逆文檔頻率（IDF）和TF-IDF如下：
從上表可見(jiàn)，"蜜蜂"的TF-IDF值最高韩玩，"養(yǎng)殖"其次垒玲，"中國(guó)"最低。（如果還計(jì)算"的"字的TF-IDF找颓，那將是一個(gè)極其接近0的值合愈。）所以，如果只選擇一個(gè)詞击狮，"蜜蜂"就是這篇文章的關(guān)鍵詞佛析。
除了自動(dòng)提取關(guān)鍵詞，TF-IDF算法還可以用于許多別的地方彪蓬。比如寸莫，信息檢索時(shí)，對(duì)于每個(gè)文檔档冬，都可以分別計(jì)算一組搜索詞（"中國(guó)"膘茎、"蜜蜂"桃纯、"養(yǎng)殖"）的TF-IDF，將它們相加辽狈，就可以得到整個(gè)文檔的TF-IDF慈参。這個(gè)值最高的文檔就是與搜索詞最相關(guān)的文檔。
TF-IDF算法的優(yōu)點(diǎn)是簡(jiǎn)單快速刮萌，結(jié)果比較符合實(shí)際情況驮配。缺點(diǎn)是，單純以"詞頻"衡量一個(gè)詞的重要性着茸，不夠全面壮锻，有時(shí)重要的詞可能出現(xiàn)次數(shù)并不多。而且涮阔，這種算法無(wú)法體現(xiàn)詞的位置信息猜绣，出現(xiàn)位置靠前的詞與出現(xiàn)位置靠后的詞，都被視為重要性相同敬特，這是不正確的掰邢。
