TF-IDF筆記 - 簡書

1. TFIDF介紹

1.1 基本概念

TF(Term Frequency)：代表詞頻，表示詞在某篇文章中出現(xiàn)的頻次，一般情況下詞頻越大，代表該詞在本篇文章中重要度比較高（此處是過濾掉停用詞stopword之后的詞）

IDF(Inverse Document Frequency)：逆文檔頻率，即在整個詞庫中，某個詞的權(quán)重轻要。

如對于非常常見的詞（的，是）垦缅，賦予最小的權(quán)重

對于較常見的詞（中國）冲泥，賦予較小的權(quán)重

對于很少常見的詞，賦予較大的權(quán)重

其中壁涎，詞語由t表示凡恍，文檔由d表示，語料庫由D表示怔球。詞頻TF(t,d)是詞語t在文檔d中出現(xiàn)的次數(shù)嚼酝。文件頻率DF(t,D)是包含詞語的文檔的個數(shù)。

TF-IDF：TF值和IDF值的乘積竟坛，TF-IDF的值越大闽巩，代表這個詞對該篇文章的重要度越大钧舌，取排名前幾的詞可以作為該篇文章的關(guān)鍵詞。

1.2 計算公式

TF：計算較為簡單涎跨，首先對文檔進(jìn)行分詞洼冻，去掉停用詞之后，統(tǒng)計每個詞出現(xiàn)的次數(shù)隅很，由于多篇文章的長短不一致撞牢，所以需要對這個值進(jìn)行標(biāo)準(zhǔn)化，如下：

TF = 某個詞在文章中出現(xiàn)的頻次/文章總詞數(shù) 或者
TF = 某個詞在文章中出現(xiàn)的頻次 / 擁有最高頻次的詞的頻次

IDF計算公式

其中|D|為語料庫中文檔數(shù)外构，公式中使用log函數(shù)普泡，當(dāng)詞出現(xiàn)在所有文檔中時，它的IDF值變?yōu)?审编。加1是為了避免分母為0的情況。

通過公式可以看出歧匈，IDF與詞的常見程度成反比垒酬。

1.3 應(yīng)用

平時在工作中用到TFIDF一般是獲取文章關(guān)鍵詞，結(jié)合余弦向量相似度獲取兩篇文章相似度

2. Spark MLlib計算TFIDF

在Spark MLlib中 TFIDF分為TF (+hashing) 和 IDF件炉。

2.1. TF

HashingTF 是一個Transformer勘究，在文本處理中，接收詞條的集合然后把這些集合轉(zhuǎn)化成固定長度的特征向量斟冕。這個算法在哈希的同時會統(tǒng)計各個詞條的詞頻口糕。

Spark.mllib 中實現(xiàn)詞頻率統(tǒng)計使用特征hash的方式，原始特征通過hash函數(shù)磕蛇，映射到一個索引值景描。后面只需要統(tǒng)計這些索引值的頻率，就可以知道對應(yīng)詞的頻率秀撇。這種方式避免設(shè)計一個全局1對1的詞到索引的映射超棺，這個映射在映射大量語料庫時需要花費更長的時間。但需要注意呵燕，通過hash的方式可能會映射到同一個值的情況棠绘，即不同的原始特征通過Hash映射后是同一個值。為了降低這種情況出現(xiàn)的概率再扭，我們只能對特征向量升維氧苍。i.e., 提高h(yuǎn)ash表的桶數(shù)，默認(rèn)特征維度是 2^20 = 1,048,576.

如下圖所示為將對分詞的文檔集合進(jìn)行hashingTF向量轉(zhuǎn)化泛范，設(shè)置hash桶為2000让虐，得出的hashingTF值為：

//文檔集合
val data:RDD[(Int, String)] = spark.parallelize(Seq(
          (0, "I heard about Spark and I love Spark"),
           (0, "I wish Java could use case classes"),
           (1, "Logistic regression models are neat")))

//空格分詞
val doc_words: RDD[(Int, Array[String])] = data.map(doc => (doc._1, doc._2.toLowerCase().split(" ")))


//HashingTF->把句子Hash成特征向量,這里設(shè)置Hash表的桶數(shù)為2000
val hashTF = new HashingTF(numFeatures = 2000)

//將每個文檔轉(zhuǎn)成hash和詞頻向量
val tf_feature = doc_words.map(x=>(hashTF.transform(x._2.toSeq)))
tf_feature.map(x=>println(x))
//結(jié)果為：(2000,[240,333,1105,1329,1357,1777],[1.0,1.0,2.0,2.0,1.0,1.0])
//      (2000,[213,342,489,495,1329,1809,1967],[1.0,1.0,1.0,1.0,1.0,1.0,1.0])
//      (2000,[286,695,1138,1193,1604],[1.0,1.0,1.0,1.0,1.0])

可以看出，分詞序列被變換成一個稀疏特征向量敦跌，其中每個單詞都被散列成了一個不同的索引值澄干，特征向量在某一維度上的值即該詞匯在文檔中出現(xiàn)的次數(shù)逛揩。

2.2. IDF

IDF：在一個數(shù)據(jù)集上應(yīng)用它的fit() 方法，產(chǎn)生一個IDFModel麸俘。該IDFModel 接收特征向量（由HashingTF產(chǎn)生）,產(chǎn)生一個IDFModel, IDFModel是一個Transformer辩稽，調(diào)用它的transform()方法，即可得到每一個單詞對應(yīng)的TF-IDF度量值从媚。逞泄。使用IDF來對單純的詞頻特征向量進(jìn)行修正，使其更能體現(xiàn)不同詞匯對文本的區(qū)別能力拜效。

val idf = new IDF()
val idf_model = idf.fit(tf_feature) //生成IDF Model
val tf_idf = idf_model.transform(tf_feature)
tf_idf.collect().map(println)
//結(jié)果為：
//(2000,[240,333,1105,1329,1357,1777],[0.6931471805599453,0.6931471805599453,1.3862943611198906,0.5753641449035617,0.6931471805599453,0.6931471805599453])
//(2000,[213,342,489,495,1329,1809,1967],[0.6931471805599453,0.6931471805599453,0.6931471805599453,0.6931471805599453,0.28768207245178085,0.6931471805599453,0.6931471805599453])
//(2000,[286,695,1138,1193,1604],[0.6931471805599453,0.6931471805599453,0.6931471805599453,0.6931471805599453,0.6931471805599453])

3. TFIDF優(yōu)缺點

優(yōu)點：簡單快速喷众，結(jié)果符合實際情況
缺點：單純以詞頻衡量詞的重要性，不夠全面紧憾，有時重要的詞出現(xiàn)的次數(shù)不多到千，而且對詞的出現(xiàn)位置沒有設(shè)置，出現(xiàn)位置靠前的詞和出現(xiàn)位置靠后的詞的重要性一樣赴穗，可以對全文的第一段或者每一段的第一句給予較大的權(quán)重憔四。

參考：
http://www.ruanyifeng.com/blog/2013/03/tf-idf.html
http://dblab.xmu.edu.cn/blog/1473-2/