【原文地址】http://www.ruanyifeng.com/blog/2013/03/tf-idf.html
-------------------------------------------------------------------------------------------
這個標題看上去好像很復(fù)雜类浪，其實我要談的是一個很簡單的問題。
有一篇很長的文章肌似，我要用計算機提取它的關(guān)鍵詞（Automatic Keyphrase extraction）费就，完全不加以人工干預(yù)，請問怎樣才能正確做到川队？
這個問題涉及到數(shù)據(jù)挖掘力细、文本處理、信息檢索等很多計算機前沿領(lǐng)域固额，但是出乎意料的是眠蚂，有一個非常簡單的經(jīng)典算法，可以給出令人相當滿意的結(jié)果斗躏。它簡單到都不需要高等數(shù)學逝慧，普通人只用10分鐘就可以理解，這就是我今天想要介紹的TF-IDF算法啄糙。
讓我們從一個實例開始講起笛臣。假定現(xiàn)在有一篇長文《中國的蜜蜂養(yǎng)殖》，我們準備用計算機提取它的關(guān)鍵詞迈套。
一個容易想到的思路捐祠，就是找到出現(xiàn)次數(shù)最多的詞。如果某個詞很重要桑李，它應(yīng)該在這篇文章中多次出現(xiàn)踱蛀。于是，我們進行"詞頻"（Term Frequency贵白，縮寫為TF）統(tǒng)計率拒。
結(jié)果你肯定猜到了，出現(xiàn)次數(shù)最多的詞是----"的"禁荒、"是"猬膨、"在"----這一類最常用的詞。它們叫做"停用詞"（stop words）呛伴，表示對找到結(jié)果毫無幫助勃痴、必須過濾掉的詞。
假設(shè)我們把它們都過濾掉了热康，只考慮剩下的有實際意義的詞沛申。這樣又會遇到了另一個問題，我們可能發(fā)現(xiàn)"中國"姐军、"蜜蜂"铁材、"養(yǎng)殖"這三個詞的出現(xiàn)次數(shù)一樣多尖淘。這是不是意味著，作為關(guān)鍵詞著觉，它們的重要性是一樣的村生？
顯然不是這樣。因為"中國"是很常見的詞饼丘，相對而言趁桃，"蜜蜂"和"養(yǎng)殖"不那么常見。如果這三個詞在一篇文章的出現(xiàn)次數(shù)一樣多葬毫，有理由認為镇辉，"蜜蜂"和"養(yǎng)殖"的重要程度要大于"中國"，也就是說贴捡，在關(guān)鍵詞排序上面，"蜜蜂"和"養(yǎng)殖"應(yīng)該排在"中國"的前面村砂。
所以烂斋，我們需要一個重要性調(diào)整系數(shù)，衡量一個詞是不是常見詞础废。如果某個詞比較少見汛骂，但是它在這篇文章中多次出現(xiàn)，那么它很可能就反映了這篇文章的特性评腺，正是我們所需要的關(guān)鍵詞帘瞭。
用統(tǒng)計學語言表達，就是在詞頻的基礎(chǔ)上蒿讥，要對每個詞分配一個"重要性"權(quán)重蝶念。最常見的詞（"的"、"是"芋绸、"在"）給予最小的權(quán)重媒殉，較常見的詞（"中國"）給予較小的權(quán)重，較少見的詞（"蜜蜂"摔敛、"養(yǎng)殖"）給予較大的權(quán)重廷蓉。這個權(quán)重叫做"逆文檔頻率"（Inverse Document Frequency，縮寫為IDF）马昙，它的大小與一個詞的常見程度成反比桃犬。
知道了"詞頻"（TF）和"逆文檔頻率"（IDF）以后，將這兩個值相乘行楞，就得到了一個詞的TF-IDF值攒暇。某個詞對文章的重要性越高，它的TF-IDF值就越大敢伸。所以扯饶，排在最前面的幾個詞，就是這篇文章的關(guān)鍵詞。
下面就是這個算法的細節(jié)尾序。
第一步钓丰，計算詞頻。
考慮到文章有長短之分每币，為了便于不同文章的比較携丁，進行"詞頻"標準化。
或者
第二步兰怠，計算逆文檔頻率梦鉴。
這時，需要一個語料庫（corpus）揭保，用來模擬語言的使用環(huán)境肥橙。
如果一個詞越常見，那么分母就越大秸侣，逆文檔頻率就越小越接近0存筏。分母之所以要加1，是為了避免分母為0（即所有文檔都不包含該詞）味榛。log表示對得到的值取對數(shù)椭坚。
第三步，計算TF-IDF搏色。
可以看到善茎，TF-IDF與一個詞在文檔中的出現(xiàn)次數(shù)成正比，與該詞在整個語言中的出現(xiàn)次數(shù)成反比频轿。所以垂涯，自動提取關(guān)鍵詞的算法就很清楚了，就是計算出文檔的每個詞的TF-IDF值略吨，然后按降序排列集币，取排在最前面的幾個詞。
還是以《中國的蜜蜂養(yǎng)殖》為例翠忠，假定該文長度為1000個詞鞠苟，"中國"、"蜜蜂"秽之、"養(yǎng)殖"各出現(xiàn)20次当娱，則這三個詞的"詞頻"（TF）都為0.02。然后考榨，搜索Google發(fā)現(xiàn)跨细，包含"的"字的網(wǎng)頁共有250億張，假定這就是中文網(wǎng)頁總數(shù)河质。包含"中國"的網(wǎng)頁共有62.3億張冀惭，包含"蜜蜂"的網(wǎng)頁為0.484億張震叙，包含"養(yǎng)殖"的網(wǎng)頁為0.973億張。則它們的逆文檔頻率（IDF）和TF-IDF如下：
從上表可見散休，"蜜蜂"的TF-IDF值最高琳袄，"養(yǎng)殖"其次表窘，"中國"最低。（如果還計算"的"字的TF-IDF支子，那將是一個極其接近0的值音同。）所以厌秒，如果只選擇一個詞儒喊，"蜜蜂"就是這篇文章的關(guān)鍵詞供汛。
除了自動提取關(guān)鍵詞，TF-IDF算法還可以用于許多別的地方胁勺。比如世澜，信息檢索時，對于每個文檔署穗，都可以分別計算一組搜索詞（"中國"宜狐、"蜜蜂"、"養(yǎng)殖"）的TF-IDF蛇捌，將它們相加，就可以得到整個文檔的TF-IDF咱台。這個值最高的文檔就是與搜索詞最相關(guān)的文檔络拌。
TF-IDF算法的優(yōu)點是簡單快速，結(jié)果比較符合實際情況回溺。缺點是春贸，單純以"詞頻"衡量一個詞的重要性，不夠全面遗遵，有時重要的詞可能出現(xiàn)次數(shù)并不多萍恕。而且，這種算法無法體現(xiàn)詞的位置信息车要，出現(xiàn)位置靠前的詞與出現(xiàn)位置靠后的詞允粤，都被視為重要性相同，這是不正確的翼岁。（一種解決方法是类垫，對全文的第一段和每一段的第一句話，給予較大的權(quán)重琅坡。）
下一次悉患，我將用TF-IDF結(jié)合余弦相似性，衡量文檔之間的相似程度榆俺。
