Neil Zhu，簡書ID Not_GOD莉擒，University AI 創(chuàng)始人 & Chief Scientist挠唆，致力于推進(jìn)世界人工智能化進(jìn)程婚脱。制定并實施 UAI 中長期增長戰(zhàn)略和目標(biāo)粹懒，帶領(lǐng)團(tuán)隊快速成長為人工智能領(lǐng)域最專業(yè)的力量重付。
作為行業(yè)領(lǐng)導(dǎo)者，他和UAI一起在2014年創(chuàng)建了TASA（中國最早的人工智能社團(tuán)）, DL Center（深度學(xué)習(xí)知識中心全球價值網(wǎng)絡(luò)）凫乖，AI growth（行業(yè)智庫培訓(xùn)）等确垫，為中國的人工智能人才建設(shè)輸送了大量的血液和養(yǎng)分。此外帽芽，他還參與或者舉辦過各類國際性的人工智能峰會和活動删掀，產(chǎn)生了巨大的影響力，書寫了60萬字的人工智能精品技術(shù)內(nèi)容导街，生產(chǎn)翻譯了全球第一本深度學(xué)習(xí)入門書《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》披泪，生產(chǎn)的內(nèi)容被大量的專業(yè)垂直公眾號和媒體轉(zhuǎn)載與連載。曾經(jīng)受邀為國內(nèi)頂尖大學(xué)制定人工智能學(xué)習(xí)規(guī)劃和教授人工智能前沿課程搬瑰，均受學(xué)生和老師好評款票。
第一眼
需要導(dǎo)入三個包包，后面一定會用到這些東西
from gensim import corpora, models, similarities
語料corpora就是一系列文檔的集合跌捆，其中的詞已經(jīng)使用了字典進(jìn)行相應(yīng)的轉(zhuǎn)換徽职，成為一個個數(shù)字象颖，我們可以通過字典的對應(yīng)關(guān)系從數(shù)字找到對應(yīng)的詞佩厚。語料中的每個項對應(yīng)著每一篇使用稀疏向量表示的文檔。后面我們會談?wù)労螢橄蛄靠臻g模型（Vector Space Model）说订。如果你熟悉向量空間模型抄瓦，你可能已經(jīng)知道了是如何parse文檔的方式，分詞的好壞直接影響到后續(xù)的應(yīng)用陶冷。
在例子中钙姊，會將所有的語料都以一個python list的形式存放在內(nèi)存中。然而埂伦，gensim支持對文檔進(jìn)行讀取迭代煞额。對很大的語料，當(dāng)然將其存放在硬盤上更加合適沾谜，并順序地進(jìn)行讀取膊毁，一次一個。gensim的實現(xiàn)方式正是使用了這樣的方式基跑，獨立于語料的規(guī)模和內(nèi)存婚温。
首先，我們初始化一個轉(zhuǎn)換（transformation）：
tfidf = models.TfidfModel(corpus)
轉(zhuǎn)換的作用是將
從一個矩陣存儲的文件載入語料迭代器
corpus = corpora.MmCorpus('/path/to/corpus.mm')
初始化Latent semantic indexing媳否，話題數(shù)設(shè)置為200栅螟，也就是潛在的維度數(shù)是200
lsi = models.LsiModel(corpus, num_topics=200)
將另外一個語料庫轉(zhuǎn)換成潛在空間并且索引這個空間
index = similarities.MatrixSimilarity(lsi[another_corpus])
計算查詢和索引文檔的相似性
sims = index[query]
主要通過本文梳理清楚使用LDA和LSI的基本流程荆秦，對于LDA相關(guān)的基礎(chǔ)知識需要花一定的時間來學(xué)習(xí)。比如說概率圖模型力图，Gibbs Sampling步绸，MCMC。其實使用起來自然很簡單搪哪，就是獲得一個最終的分布而已靡努。但是真正弄個清楚還是需要比較強的統(tǒng)計學(xué)和算法的基礎(chǔ)。之前在學(xué)習(xí)過程中晓折，系統(tǒng)地學(xué)習(xí)過了MCMC惑朦，對于其中設(shè)計的一系列證明也是推導(dǎo)過。不過那時候還沒有很直觀的了解漓概，直到現(xiàn)在使用了MCMC來解決LDA的計算問題才發(fā)現(xiàn)它厲害的地方⊙拢現(xiàn)在網(wǎng)上有不少對LDA的介紹，也會涉及LSI胃珍，大家感興趣可以去看看梁肿。
我最近在翻譯一本書，也是關(guān)于這個的觅彰，那本書介紹了一個python的庫PyMC吩蔑，大家一看就知道了，MC填抬，Markov chain烛芬。想象計算機(jī)發(fā)明之初，最原始的目標(biāo)就是用來進(jìn)行統(tǒng)計模擬飒责。這才是計算機(jī)發(fā)展的原動力白嘎Α！
