Q：這篇文章主要講什么逢慌？
Ａ：
這篇文章主要討論如何用python來做一些簡單的文本處理——文本相似度比較。
談起python的自然語言處理火架，肯定會讓人想起NLTK何鸡。不過上面這兩個任務并不需要NLTK這個庫，只是用到了gensim淆游。由于涉及中文隔盛，所以還用到了jieba來做中文分詞犹菱。
Ｑ：Gensim是什么東西腊脱？
Ａ：
首先說說gensim是個怎樣的python庫吧龙亲。
由于這篇筆記只記錄最簡單的用法悍抑，所以gensim更詳細的介紹搜骡，更強大的功能請到官網(wǎng)閱讀文檔：<a >gensim官網(wǎng)</a>浆兰。不懂英文珊豹？趕緊去補暗瓴琛贩幻！
Gensim is a free Python library designed to automatically extract semantictopics from documents, as efficiently (computer-wise) and painlessly (human-wise) as possible.
簡單來說丛楚，gensim的主要功能有把文本轉(zhuǎn)為向量（scikit-learn也能做到）趣些，抽取文本中的關鍵詞（jieba也能做到）坏平，比較兩個文本的相似度，甚至是計算一個查詢（本質(zhì)也是一個文本）與一個文檔集合中所有文檔的關聯(lián)程度（這個似乎只有g(shù)ensim能做令境，sklearn和jieba都不能）舔庶。更強大的是惕橙，gensim庫實現(xiàn)了word2vec算法（其實我目前不懂這個算法的原理）孵延！。
gensim有三個主要模塊——
- corpora：將文本轉(zhuǎn)為向量惶凝，提供存儲文本矩陣的方法。這里生產(chǎn)的向量形式是最基本的思灰，族簡單的洒疚，僅僅是為文檔建立詞典坯屿，然后計數(shù)文檔中每個詞出現(xiàn)的次數(shù)。
- models：將corpora生產(chǎn)的簡單向量轉(zhuǎn)化為其他各種不同的向量乏德『袄ǎ可以選擇的向量模型有TFIDF, LSI, RP, LDA, HDP等矢棚。用戶可以先用corpora模塊把文本轉(zhuǎn)為簡單向量蒲肋，再用models模塊得到自己需要的向量形式肉津。
- similarites：提供計算文本相似度方法的模塊。
gensim其他更強大的功能還沒列出，所以想要深入學習就得去官網(wǎng)查閱文檔了距糖。
</br>
Q：如何使用gensim來計算文本相似度悍引？
Ａ：
計算一個查詢（字符串）與文檔集中所有文檔的相似度是搜索引擎的核心功能模塊之一趣斤。gensim計算文本相似度的的套路就是先用copora模塊把文檔轉(zhuǎn)為簡單的稀疏矩陣浓领；然后用models模塊得到符合需要的向量模型漫仆；最后用similarities模塊計算相似度泪幌。下面用一個案例來說明怎樣計算文本相似度祸泪。
假設現(xiàn)在有一個八個文檔組成的文檔集：
texts = [
'什么是股票没隘？',
'股票是個什么玩意？',
'新手怎樣入門炒股升略？',
'現(xiàn)在股市的風險大嗎微王？',
'python的自然語言處理',
'gensim的主要功能有把文本轉(zhuǎn)為向量',
'提供存儲文本矩陣的方法',
'這篇文章主要討論如何用python來做一些簡單的文本處理'
]
由于文本轉(zhuǎn)向量算法的原理是統(tǒng)計文本中每個單詞出現(xiàn)的個數(shù)，所以我們還要把文檔集里的每個文檔切詞品嚣，也就是說把一個文檔編程一個單詞列表（或者數(shù)組炕倘，或者任何數(shù)據(jù)容器iterable）。西方語言由于先天就用空格把詞分開翰撑，而類似中文的東方語言則需要特定的分詞模塊罩旋。一個常用的中文分詞模塊是jieba分詞——可以分詞、可以做詞性標注眶诈、可以抽取關鍵字的分詞模塊涨醋。詳見官方文檔（當然是中文的）。
docs = [jieba.lcut_for_search(i) for i in texts] #返回一個包含著很多單詞列表的列表逝撬。
In [4]: print docs
[[u'\u4ec0\u4e48', u'\u662f', u'\u80a1\u7968', u'\uff1f'], [u'\u80a1\u7968', u'\u662f', u'\u4e2a', u'\u4ec0\u4e48', u'\u73a9\u610f', u'\uff1f'], [u'\u65b0\u624b', u'\u600e\u6837', u'\u5165\u95e8', u'\u7092\u80a1', u'\uff1f'], [u'\u73b0\u5728', u'\u80a1\u5e02', u'\u7684', u'\u98ce\u9669', u'\u5927', u'\u5417', u'\uff1f'], [u'python', u'\u7684', u'\u81ea\u7136', u'\u8bed\u8a00', u'\u81ea\u7136\u8bed\u8a00', u'\u5904\u7406'], [u'gensim', u'\u7684', u'\u4e3b\u8981', u'\u529f\u80fd', u'\u6709', u'\u628a', u'\u6587\u672c', u'\u8f6c\u4e3a', u'\u5411\u91cf'], [u'\u63d0\u4f9b', u'\u5b58\u50a8', u'\u6587\u672c', u'\u77e9\u9635', u'\u7684', u'\u65b9\u6cd5'], [u'\u8fd9', u'\u6587\u7ae0', u'\u7bc7\u6587\u7ae0', u'\u4e3b\u8981', u'\u8ba8\u8bba', u'\u5982\u4f55', u'\u7528', u'python', u'\u6765', u'\u505a', u'\u4e00\u4e9b', u'\u7b80\u5355', u'\u7684', u'\u6587\u672c', u'\u672c\u5904', u'\u5904\u7406', u'\u6587\u672c\u5904\u7406']]
＃原諒我的機器在打印整個列表時，所有中文會變成unicode編碼
下一步是構(gòu)建文檔集（單詞列表集）的詞典溯警，然后利用詞典來用向量表示文檔
In [10]: dic = corpora.Dictionary(docs)
In [11]: print dic #這個詞典給文檔集中每個單詞編號
Dictionary(45 unique tokens: [u'\u98ce\u9669', u'\u672c\u5904', u'\u7684', u'\u5904\u7406', u'\u4ec0\u4e48']...)
In [12]: corpus = [dic.doc2bow(i) for i in docs]
In [13]: print corpus
[[(0, 1), (1, 1), (2, 1), (3, 1)], [(0, 1), (1, 1), (2, 1), (3, 1), (4, 1), (5, 1)], [(3, 1), (6, 1), (7, 1), (8, 1), (9, 1)], [(3, 1), (10, 1), (11, 1), (12, 1), (13, 1), (14, 1), (15, 1)], [(12, 1), (16, 1), (17, 1), (18, 1), (19, 1), (20, 1)], [(12, 1), (21, 1), (22, 1), (23, 1), (24, 1), (25, 1), (26, 1), (27, 1), (28, 1)], [(12, 1), (25, 1), (29, 1), (30, 1), (31, 1), (32, 1)], [(12, 1), (16, 1), (17, 1), (24, 1), (25, 1), (33, 1), (34, 1), (35, 1), (36, 1), (37, 1), (38, 1), (39, 1), (40, 1), (41, 1), (42, 1), (43, 1), (44, 1)]]
＃這是稀疏矩陣的一種形式，每個列表的每個括號表示（詞編號伊诵，詞的出現(xiàn)次數(shù)）
這樣一來，文本就轉(zhuǎn)換成矩陣了份氧。不過這個矩陣的向量模型非常簡單，我們要用一個高級一點的LSI(潛語義分析)向量模型來做相似度計算。應用models模塊的可以做到向量模型的轉(zhuǎn)換湘捎。
In [14]: lsi = models.LsiModel(corpus, id2word=dic, num_topics=2)
向量模型轉(zhuǎn)換完成活翩，下面開始進行計算相似度的工作。為了方便和明顯拉宗，我們計算一下“股票”這個詞和“文本”這兩個查詢與文檔集中八個文檔的相似度络它。如果沒有意外点楼，按照我們的直覺换怖，我們會看到“股票”這個查詢和文檔集中前四個文檔比較相似悦污，“文本”這個查詢和文檔集中后四個文檔比較相似彻坛。
In [21]: qurey1 = "股票" #首先把這兩個查詢也變成向量
...: qurey2 = '文本'
...: vec_query1 = dic.doc2bow([qurey1])
...: vec_query2 = dic.doc2bow([qurey2])
In [22]: index = similarities.MatrixSimilarity(lsi[corpus])
＃然后建立索引（估計是倒排詞表茵瀑，下面的就不怎么懂了）
In [23]: sims1 = index[lsi[vec_query1]]
...: sims2 = index[lsi[vec_query2]]
＃得到了查詢語句與哥哥文檔的相似度
In [24]: sims_result1 = sorted(enumerate(sims1), key=lambda item: -item[1])
...: sims_result2 = sorted(enumerate(sims2), key=lambda item: -item[1])
＃給結(jié)果排一下序
In [25]: print sims_result1
[(1, 0.99990207), (0, 0.99984658), (2, 0.99941468), (3, 0.93057805), (6, 0.31655648), (5, 0.27374423), (4, 0.12518336), (7, -0.11772308)]
In [27]: print sims_result2
[(4, 0.99776512), (7, 0.98443955), (5, 0.97619325), (6, 0.96549642), (3, 0.4200055), (2, 0.092727646), (0, 0.076089963), (1, 0.07257086)]
很明顯的看到“股票”這個查詢和文檔集中前四個文檔比較相似偏陪，“文本”這個查詢和文檔集中后四個文檔比較相似抱虐，這也是符合我們的常識的灶轰。
完整代碼：
#coding: utf-8
import sys, jieba
from gensim import corpora, models, similarities
reload(sys)
sys.setdefaultencoding('utf8')
texts = [
'什么是股票？',
'股票是個什么玩意阱缓？',
'新手怎樣入門炒股颁糟？',
'現(xiàn)在股市的風險大嗎？',
'python的自然語言處理',
'gensim的主要功能有把文本轉(zhuǎn)為向量',
'提供存儲文本矩陣的方法',
'這篇文章主要討論如何用python來做一些簡單的文本處理'
]
docs = [jieba.lcut_for_search(i) for i in texts]
dic = corpora.Dictionary(docs)
corpus = [dic.doc2bow(i) for i in docs]
lsi = models.LsiModel(corpus, id2word=dic, num_topics=2)
qurey1 = "股票"
qurey2 = '文本'
vec_query1 = dic.doc2bow([qurey1])
vec_query2 = dic.doc2bow([qurey2])
index = similarities.MatrixSimilarity(lsi[corpus])
sims1 = index[lsi[vec_query1]]
sims2 = index[lsi[vec_query2]]
sims_result1 = sorted(enumerate(sims1), key=lambda item: -item[1])
sims_result2 = sorted(enumerate(sims2), key=lambda item: -item[1])
print sims_result1
print sims_result2
由于作者對于文本處理和gensim的原理還不太懂起惕，如有不當之處，歡迎高手指點。
