公司有很多場景需求罗标，都需要用到了文本相似比對的算法沙峻。文本相似度算法比較常用的有余弦相似度，simHash算法锈锤，對文本特征處理的過程中，也有很多騷操作可以有效提升某些場景下的比對準(zhǔn)確率闲询。
余弦相似度算法
基本的文本相似比對過程：
- 文本預(yù)處理久免，包含分詞，停用詞過濾扭弧， 特征工程阎姥，文本特征提取。
- 詞向量轉(zhuǎn)換鸽捻，建立詞典呼巴。
- 如果只是兩兩文本比對，那直接用余弦相似算法計算兩個向量的余弦夾角即可御蒲。如果需要在海量文本中做相似查詢衣赶，那還需要建立一個相似矩陣(Similarity Matrix), 這樣對于新增文本，可以用過Similarity Matrix快速計算相似度厚满。
在文本預(yù)處理的過程中府瞄，文本分詞準(zhǔn)確率是后期所有工作的基礎(chǔ)，如果用了一個性能較差的分詞器碘箍，后期處理過程中就會非常麻煩遵馆，不管怎么做算法調(diào)優(yōu)，準(zhǔn)確性都上不去丰榴。 比較簡單的常見方法是团搞，導(dǎo)入一些場景專用詞庫，結(jié)合需求過濾掉一些無意義的詞和符號多艇。這些操作逻恐，都可以一定程度上提高最終模型的精度。
是否要做特征工程峻黍，文本特征提取复隆，是結(jié)合場景需求來決定的。在文本兩兩比對的情況下姆涩，可以直接將分詞的結(jié)果作為特征進行計算挽拂。但在文本量比較大的情況下，不做特征提取骨饿，一個詞向量的長度可能會達到幾十萬亏栈，這就大大增加了硬件設(shè)備的要求台腥。對于這種情況LSI的主題模型是很好的解決方法，這個模型可以將特征維度降低到幾千绒北，幾百黎侈，大大降低硬件需求，提升最終模型的響應(yīng)速度闷游。但這個模型的缺陷在于峻汉，LSI降維導(dǎo)致的維度損失，會使得極少量的文本脐往，即便內(nèi)容相近休吠，相似度結(jié)果也很低。
LDA模型也可以完成類似功能业簿，但最終準(zhǔn)確率不如LSI.
還有一個降低高頻詞對最終結(jié)果的影響方法是tf-idf瘤礁，這個方法是很多詞向量構(gòu)建過程的標(biāo)配。
以上是余弦相似的計算算法梅尤，個人覺得更加適合短文本判斷蔚携，當(dāng)然長文本也可以分解為短文本再處理。
SimHash算法
SimHash算法是Google出的一種算法, 中文有種翻譯叫 局部敏感哈希克饶。這個算法設(shè)計非常優(yōu)雅酝蜒，它將文本轉(zhuǎn)換為64位的局部敏感hash值（當(dāng)然也可以是128位，但一般用64位）矾湃， 通過比較hash值的海明距離亡脑，來判斷文本是否相似。
因為是位計算邀跃，它的處理速度霉咨，處理能力都非常快拍屑。在某一個項目中途戒，項目現(xiàn)場的設(shè)備非常爛，但客戶要求又非常高僵驰。幾十萬條文本的相似查詢喷斋，還有業(yè)務(wù)相關(guān)查詢整合，要做到3s內(nèi)響應(yīng)完成蒜茴。于是我重寫了相關(guān)算法和業(yè)務(wù)查詢星爪，通過simhash去做相似文本比對。30w條文本的相似查詢粉私， 還有復(fù)雜的業(yè)務(wù)邏輯判斷顽腾，在普通i5筆記本上2s就完成了。
Simhash在判斷相似文本時诺核，需要設(shè)置海明距離抄肖，Google在搜索引擎中的網(wǎng)頁去重中久信，默認(rèn)設(shè)為3就能去除重復(fù)頁面。 但對于短文本的處理漓摩，海明距離要設(shè)置的稍微高一些裙士，才能把近似但不完全相同的文本給查詢出來。
Simhash還有一個非常適用的場景幌甘，就是在高級爬蟲中潮售，用于判斷某個網(wǎng)頁內(nèi)容是否爬過痊项。
