一福稳、文本特征
（一）基本文本特征提取
- 詞語(yǔ)數(shù)量
常，負(fù)面情緒評(píng)論含有的詞語(yǔ)數(shù)量比正面情緒評(píng)論更多瑞侮。 - 字符數(shù)量
常的圆，負(fù)面情緒評(píng)論含有的字符數(shù)量比正面情緒評(píng)論更多。 - 平均詞匯長(zhǎng)度
平均詞匯長(zhǎng)度=所有單詞長(zhǎng)度/單詞個(gè)數(shù)半火。 - 停用詞數(shù)量
有時(shí)越妈，計(jì)算停用詞的數(shù)量可以提供去除停用詞后失去的額外信息。 - 特殊字符數(shù)量
如"#"钮糖、"@"等的數(shù)量梅掠。 - 數(shù)字的數(shù)量
并不常用，但在相似任務(wù)中常比較有用店归。 - 大寫單詞的數(shù)量
......
（二）文本的預(yù)處理
小寫轉(zhuǎn)換阎抒、去除標(biāo)點(diǎn)符號(hào)、停用詞去除消痛、常見(jiàn)詞去除且叁、稀缺詞去除、拼寫校對(duì)秩伞、分詞逞带、詞干提取、詞性還原 ......
詞形還原(lemmatization)纱新，是把一個(gè)任何形式的語(yǔ)言詞匯還原為一般形式掰担；而詞干提取(stemming)是抽取詞的詞干或者詞根形式，不一定能夠表達(dá)完整語(yǔ)義怒炸。
（三）高級(jí)文本處理
- N-grams
若太短带饱，則無(wú)法捕獲重要信息；若太長(zhǎng)阅羹，則捕獲的信息基本是一樣的勺疼，沒(méi)有差異性。 - 詞頻TF
- 反轉(zhuǎn)文檔頻率IDF
- 詞頻-反轉(zhuǎn)文檔頻率TF-IDF
- 詞集模型SoW捏鱼、詞袋模型BoW
- 評(píng)測(cè)情感
例如使用NLTK自帶方法执庐。 - 詞向量
- 文本向量
......
二、SoW & BoW
當(dāng)將文本表示為詞相關(guān)的向量時(shí)导梆，向量的維度值為總詞匯數(shù)轨淌。
詞集模型(Set of Words, SoW)中迂烁，如果向量維度位置對(duì)應(yīng)的詞出現(xiàn)在文本中，則該處值為1递鹉，否則為0盟步。
除了考慮詞是否出現(xiàn)外，詞袋模型(Bag of Words, BoW)還考慮其出現(xiàn)次數(shù)躏结，即每個(gè)文本向量在其對(duì)應(yīng)詞處取值為該詞在文本中出現(xiàn)次數(shù)却盘，未出現(xiàn)則為0。
但是媳拴，用詞頻來(lái)衡量該詞的重要性是存在問(wèn)題的黄橘。比如"the"，它的詞頻很高屈溉，但其實(shí)它沒(méi)有那么重要塞关。所以可以使用TF-IDF特征來(lái)統(tǒng)計(jì)修正詞頻。
修正后的向量依舊存在數(shù)據(jù)稀疏的問(wèn)題子巾，大部分值為0帆赢，常使用Hash Trick進(jìn)行降維。
(一) TF-IDF
TF-IDF是一種統(tǒng)計(jì)方法砰左，用以評(píng)估一字詞對(duì)于一個(gè)文件集或一個(gè)語(yǔ)料庫(kù)中的其中一份文件的重要程度匿醒。
字詞的重要性隨著它在文件中出現(xiàn)的次數(shù)成正比增加场航，但同時(shí)會(huì)隨著它在語(yǔ)料庫(kù)中出現(xiàn)的頻率成反比下降缠导。
TF(term frequency)：詞在當(dāng)前文本中的詞頻；
IDF(inverse document frequency)：包含該詞的文本在語(yǔ)料庫(kù)中出現(xiàn)頻率的倒數(shù)的對(duì)數(shù)溉痢，即：
其中僻造，是語(yǔ)料庫(kù)中文本的總數(shù)，
是語(yǔ)料庫(kù)中包含詞
的文本的總數(shù)孩饼。
常見(jiàn)的IDF平滑公式之一：
最終髓削，詞的TF-IDF值：
（二）Hash Trick
哈希函數(shù)將第
個(gè)特征哈希到位置
，即
镀娶。那么立膛，第
個(gè)原始特征的詞頻數(shù)值
將會(huì)累積到哈希后的第
個(gè)特征的詞頻數(shù)值
上，即：
其中是原始特征的維度梯码。
但這樣做存在一個(gè)問(wèn)題宝泵，有可能兩個(gè)原始特征哈希后位置相同，導(dǎo)致詞頻累加后特征值突然變大轩娶。
為了解決這個(gè)問(wèn)題儿奶，出現(xiàn)了hash trick的變種signed hash trick，多了一個(gè)哈希函數(shù)鳄抒，此時(shí)闯捎，我們有：
這樣做的好處是椰弊，哈希后的特征值仍然是一個(gè)無(wú)偏的估計(jì)，不會(huì)導(dǎo)致某些哈希位置的值過(guò)大瓤鼻。從實(shí)際應(yīng)用中來(lái)說(shuō)秉版，由于文本特征的高稀疏性，這么做是可行的娱仔。
注意hash trick降維后的特征已經(jīng)不知道其代表的特征和意義沐飘，所以其解釋性不強(qiáng)。
一般來(lái)說(shuō)牲迫，只要詞匯表的特征不至于太大耐朴，大到內(nèi)存不夠用，肯定是使用一般意義的向量化比較好盹憎。因?yàn)橄蛄炕姆椒ń忉屝院軓?qiáng)筛峭，我們知道每一維特征對(duì)應(yīng)哪一個(gè)詞，進(jìn)而我們還可以使用TF-IDF對(duì)各個(gè)詞特征的權(quán)重進(jìn)行修改陪每，進(jìn)一步完善特征的表示影晓。
而Hash Trick一般使用在大規(guī)模機(jī)器學(xué)習(xí)上。此時(shí)我們的詞匯量極大檩禾，使用向量化方法內(nèi)存可能不夠用挂签，而使用Hash Trick降維速度很快，降維后的特征仍然可以幫我們完成后續(xù)的分類和聚類工作盼产。當(dāng)然由于分布式計(jì)算框架的存在饵婆，其實(shí)一般我們不會(huì)出現(xiàn)內(nèi)存不夠的情況。因此戏售，實(shí)際工作中常常使用的都是特征向量化侨核。
三、doc2vec
（一）DBoW
Distributed Bag of Words(DBoW)在給定文檔向量的情況下預(yù)測(cè)文檔中一組隨機(jī)單詞的概率灌灾。和Skip-Gram很像搓译。
DBoW模型的輸入是文檔向量，預(yù)測(cè)的是該文檔中隨機(jī)抽樣的單詞锋喜。在SGD的每一次迭代中采樣一個(gè)文本窗口些己，再?gòu)脑撐谋敬翱谥须S機(jī)采樣一個(gè)詞，從而形成一個(gè)給定段落向量進(jìn)行詞預(yù)測(cè)的多分類的任務(wù)嘿般。
（二）DM
Distributed Memory(DM)在給定文檔向量和上下文的情況下預(yù)測(cè)單詞的概率段标。和CBoW很像。
DM模型在訓(xùn)練時(shí)博个，首先將每個(gè)文檔id和語(yǔ)料庫(kù)中的所有詞初始化為一個(gè)維的向量怀樟，然后將文檔向量和上下文的向量輸入模型，隱藏層將這些向量進(jìn)行累加或取均值或拼接得到中間向量盆佣，作為輸出層softmax的輸入往堡。
（三）小結(jié)
不同的文檔具有不同的文檔向量械荷，但是不同文檔中的相同詞具有相同的詞向量。在一個(gè)文檔的訓(xùn)練過(guò)程中虑灰，文檔id保持不變吨瞎，共享著同一個(gè)文檔向量，相當(dāng)于在預(yù)測(cè)單詞的概率時(shí)穆咐，都利用了整個(gè)文檔的語(yǔ)義颤诀。
其主要優(yōu)點(diǎn)是文檔向量的獲取過(guò)程中，可以對(duì)沒(méi)有標(biāo)記的數(shù)據(jù)集進(jìn)行訓(xùn)練对湃。
