Wikipedia
In natural language processing, latent Dirichlet allocation (LDA) is a generative statistical model that allows sets of observations to be explained by unobserved groups that explain why some parts of the data are similar
LDA模型的作者之一是前百度人工智能首席科學(xué)家吳恩達(dá)(Andrew Ng), 網(wǎng)上可以找到大量他在Standford和Coursera錄制的機(jī)器學(xué)習(xí)課程逢渔。通常來(lái)說(shuō), LDA可以用于從海量的文本中静秆，根據(jù)統(tǒng)計(jì)模型稽鞭，自動(dòng)提取出由關(guān)鍵詞組成的熱門(mén)主題，讓我們快速知道彤守，這些大量無(wú)規(guī)則的文本中，主要講述了什么內(nèi)容。
下面我們嘗試一下舍扰，LDA模型可以在主題分析模型中做到什么程度。
我們采用12345項(xiàng)目中的電話工單數(shù)據(jù)作為測(cè)試數(shù)據(jù)希坚，測(cè)試數(shù)據(jù)如下妥粟。每一條工數(shù)據(jù)都代表12345熱線服務(wù)中接到的電話訴求，總共有一萬(wàn)多條數(shù)據(jù)吏够。
我們需要對(duì)這些海量數(shù)據(jù)分詞處理勾给，將詞組向量化，生成詞包锅知，生成語(yǔ)料庫(kù)播急，訓(xùn)練LDA主題模型。技術(shù)細(xì)節(jié)就不再贅敘了售睹，有興趣可以參考Gensim這個(gè)算法包桩警，里面有詳細(xì)的LDA模型實(shí)現(xiàn)細(xì)節(jié)和代碼示例，可以大大簡(jiǎn)化工作量昌妹。
傳送門(mén)直接跳到分析結(jié)果, 我們輸出了前20的熱點(diǎn)主題：
LDA模型生成的主題比較容易理解, 其中：
第一個(gè)是關(guān)于小區(qū)車(chē)輛安全隱患的訴求捶枢。
第二個(gè)是拆遷問(wèn)題的投訴握截。
第三個(gè)是拆除違章建筑的投訴。
第八個(gè)是要求取締流動(dòng)攤販占道經(jīng)營(yíng)烂叔。
反映出12345的工單主要都是在民生方面的訴求谨胞，和12345市民熱線本身的定位非常符合。
模型的優(yōu)化：
從結(jié)果中可以看出蒜鸡，有一些詞沒(méi)有特別大的意義胯努，但在結(jié)果中占比較高，影響到了主題模型的權(quán)重判斷逢防，因此在分詞叶沛，抽取關(guān)鍵詞，生成詞包的過(guò)程中忘朝，可以維護(hù)一個(gè)停用詞列表灰署，將不想投入模型計(jì)算的一些高頻詞過(guò)濾掉，提高模型提取的準(zhǔn)確率局嘁。
