淺談人工智能產(chǎn)品設(shè)計(jì)——LDA主題模型

一、LDA模型簡(jiǎn)介

LDA是Latent Dirichlet Allocation(潛在狄利克雷分配模型)的縮寫(xiě)疗涉,也是線性判別分析(Linear Discriminant Analysis)的簡(jiǎn)寫(xiě)炼鞠。本文探討的是第一種Latent Dirichlet Allocation(潛在狄利克雷分配模型)技術(shù)桩撮。LDA通俗的來(lái)講就是一種主題抽取模型。它是一種無(wú)監(jiān)督的算法,作用是從一份文檔中提出文檔的主題,以及主題中的詞語(yǔ)响牛。LDA模型應(yīng)用范圍很廣,如我們熟知個(gè)性化推薦赫段、商品標(biāo)簽呀打、智能分類等等。

有監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)以及半監(jiān)督學(xué)習(xí)的概念是比較容易理解的糯笙。這邊就簡(jiǎn)單的提一下贬丛。
我們知道,AI系統(tǒng)都可以抽象為如圖所示的結(jié)構(gòu):

我們訓(xùn)練AI给涕,就是要得到一個(gè)模型豺憔。訓(xùn)練模型的方式有這么幾種:
有監(jiān)督學(xué)習(xí):即通過(guò)人工標(biāo)注數(shù)據(jù),機(jī)器從中學(xué)習(xí)得到模型稠炬,如分類焕阿、回歸算法咪啡。
無(wú)監(jiān)督學(xué)習(xí):機(jī)器直接通過(guò)海量的數(shù)據(jù)自主學(xué)習(xí)得到模型首启。,如聚類算法撤摸。
半監(jiān)督學(xué)習(xí):機(jī)器通過(guò)少量的人工標(biāo)注數(shù)據(jù)和海量的無(wú)標(biāo)注數(shù)據(jù)學(xué)習(xí)得到模型毅桃。半監(jiān)督學(xué)習(xí)的特點(diǎn)就是褒纲,用少數(shù)的人工標(biāo)注數(shù)據(jù)就能得到一個(gè)不錯(cuò)的模型,隨著模型的使用钥飞,產(chǎn)生的糾錯(cuò)數(shù)據(jù)又能反過(guò)來(lái)提升模型的精度莺掠,最終使得模型得到最優(yōu)。

回到我們要講的LDA模型读宙。根據(jù)場(chǎng)景的不同彻秆,數(shù)據(jù)的不同可以選擇不同的方案。如定制化場(chǎng)景下结闸,可以做有監(jiān)督的學(xué)習(xí)唇兑,以達(dá)到較好的精度。如在to C的產(chǎn)品中桦锄,則使用半監(jiān)督的學(xué)習(xí)方式可以讓產(chǎn)品具有個(gè)性化推薦的能力扎附。

簡(jiǎn)單解析一下LDA模型的原理:

在LDA模型中,文檔是由詞語(yǔ)組成主題结耀,再由主題組成的文章留夜。在主題中,有詞語(yǔ)的一個(gè)概率分布图甜,概率越高表示與主題的關(guān)聯(lián)性越大碍粥。相對(duì)的,文檔中有一個(gè)主題概率分布黑毅,概率越高代表與文檔的相關(guān)性越高即纲。LDA的簡(jiǎn)化公式如下:

P(詞語(yǔ)|文檔)=∑P(詞語(yǔ)|主題)×P(主題|文檔)

LDA從詞語(yǔ)在文檔中 的概率學(xué)習(xí)得出詞語(yǔ)在主題中的概率分布以及主題在文檔中的概率分布。

從公式中我們就能夠很清晰的看到博肋,如何能夠提升LDA模型的準(zhǔn)確度再融合進(jìn)算法中低斋,從而提升產(chǎn)品的用戶體驗(yàn)。

關(guān)鍵點(diǎn)在于:

1匪凡、提供詞語(yǔ)|主題的標(biāo)注數(shù)據(jù)膊畴。
2、提供主題|文檔的標(biāo)注數(shù)據(jù)病游。

二唇跨、LDA主題產(chǎn)品設(shè)計(jì)

假設(shè)我們要做一款個(gè)性化信息流的產(chǎn)品,我們想運(yùn)用LDA為文章打標(biāo)簽衬衬,并推送給具有相同標(biāo)簽的用戶买猖,從而實(shí)現(xiàn)個(gè)性化推薦,那我們要怎么做滋尉?

其實(shí)標(biāo)簽就可以看成是LDA中的主題玉控,融合AI的產(chǎn)品的設(shè)計(jì)如果能巧妙的讓用戶給你提供標(biāo)注數(shù)據(jù),這樣的產(chǎn)品體驗(yàn)一定是優(yōu)秀的狮惜。

沿著這個(gè)思路高诺,我們可以有這樣的設(shè)計(jì)方案:

可以先讓用戶選擇標(biāo)簽碌识,然后給用戶推薦一些無(wú)監(jiān)督學(xué)習(xí)標(biāo)注出來(lái)的同標(biāo)簽的文章,手機(jī)用戶的點(diǎn)擊數(shù)據(jù)虱而、停留時(shí)長(zhǎng)筏餐、點(diǎn)贊、收藏等數(shù)據(jù)牡拇,再把這些數(shù)據(jù)轉(zhuǎn)化為用戶對(duì)這個(gè)文章的認(rèn)可程度魁瞪。如果用戶認(rèn)可程度高,就提升這篇文章的權(quán)重惠呼;如果認(rèn)可程度低的佩番,降權(quán)。再設(shè)計(jì)一個(gè)“不喜歡”的按鈕罢杉,用戶點(diǎn)擊了也對(duì)文章進(jìn)行降權(quán)。如果經(jīng)過(guò)海量用戶的使用滩租,可以獲得較為優(yōu)質(zhì)的數(shù)據(jù)赋秀, 再利用這些數(shù)據(jù)進(jìn)行訓(xùn)練,使得模型越來(lái)越精準(zhǔn)律想。

總結(jié)成一幅圖就是:

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末猎莲,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子技即,更是在濱河造成了極大的恐慌著洼,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,042評(píng)論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件而叼,死亡現(xiàn)場(chǎng)離奇詭異身笤,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)葵陵,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 89,996評(píng)論 2 384
  • 文/潘曉璐 我一進(jìn)店門(mén)液荸,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人脱篙,你說(shuō)我怎么就攤上這事娇钱。” “怎么了绊困?”我有些...
    開(kāi)封第一講書(shū)人閱讀 156,674評(píng)論 0 345
  • 文/不壞的土叔 我叫張陵文搂,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我秤朗,道長(zhǎng)煤蹭,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,340評(píng)論 1 283
  • 正文 為了忘掉前任,我火速辦了婚禮疯兼,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘贫途。我一直安慰自己吧彪,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,404評(píng)論 5 384
  • 文/花漫 我一把揭開(kāi)白布丢早。 她就那樣靜靜地躺著姨裸,像睡著了一般。 火紅的嫁衣襯著肌膚如雪怨酝。 梳的紋絲不亂的頭發(fā)上傀缩,一...
    開(kāi)封第一講書(shū)人閱讀 49,749評(píng)論 1 289
  • 那天,我揣著相機(jī)與錄音农猬,去河邊找鬼赡艰。 笑死,一個(gè)胖子當(dāng)著我的面吹牛斤葱,可吹牛的內(nèi)容都是我干的慷垮。 我是一名探鬼主播,決...
    沈念sama閱讀 38,902評(píng)論 3 405
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼揍堕,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼料身!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起衩茸,我...
    開(kāi)封第一講書(shū)人閱讀 37,662評(píng)論 0 266
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤芹血,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后楞慈,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體幔烛,經(jīng)...
    沈念sama閱讀 44,110評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,451評(píng)論 2 325
  • 正文 我和宋清朗相戀三年囊蓝,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了说贝。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,577評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡慎颗,死狀恐怖乡恕,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情俯萎,我是刑警寧澤傲宜,帶...
    沈念sama閱讀 34,258評(píng)論 4 328
  • 正文 年R本政府宣布,位于F島的核電站夫啊,受9級(jí)特大地震影響函卒,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜撇眯,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,848評(píng)論 3 312
  • 文/蒙蒙 一报嵌、第九天 我趴在偏房一處隱蔽的房頂上張望虱咧。 院中可真熱鬧,春花似錦锚国、人聲如沸腕巡。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,726評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)绘沉。三九已至,卻和暖如春豺总,著一層夾襖步出監(jiān)牢的瞬間车伞,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,952評(píng)論 1 264
  • 我被黑心中介騙來(lái)泰國(guó)打工喻喳, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留另玖,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 46,271評(píng)論 2 360
  • 正文 我出身青樓表伦,卻偏偏與公主長(zhǎng)得像日矫,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子绑榴,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,452評(píng)論 2 348

推薦閱讀更多精彩內(nèi)容