生成模型2-監(jiān)督vs非監(jiān)督

# 監(jiān)督 vs 非監(jiān)督 監(jiān)督或非監(jiān)督學(xué)習(xí)速缨，按照任務(wù)分可以將生成模型實現(xiàn)的功能分成以下幾種，包括：{分類代乃，回歸旬牲，標(biāo)記，降維搁吓，聚類引谜，特征學(xué)習(xí)，密度估計擎浴，生產(chǎn)數(shù)據(jù)员咽。 ## 監(jiān)督任務(wù) 監(jiān)督任務(wù)中可以大致分為概率模型和非概率模型兩類。實際上這兩個模型之間并不是非黑即白的贮预，兩者之間的界限是模糊的贝室，本節(jié)中做一個簡單的介紹。 ### 判別模型 判別模型是對條件概率分布建模$P(Y|X)$仿吞，典型的有Logistics Regression滑频，最大熵馬爾可夫模型（MEMM），條件隨機場（CRF）唤冈，這個模型聽名字就很條件概率峡迷。 ### 生成模型 生成模型大致可以分成以下幾類： - 1. Naive Bayes，此模型非常簡單你虹，主要是服從樸素貝葉斯假設(shè)绘搞。樸素貝葉斯假設(shè)描述的是，樣本空間各維度之間相互獨立傅物，$P(X|Y)=\prod_{i=1}^p P(x_i|Y)$夯辖。 - 2. Mixture Model，其中的典型代表是混合高斯模型（GMM）董饰，此模型主要是用于聚類蒿褂。模型可以簡要的表示為$P(X|Z)\sim$ Gaussian Distribution. - 3. Time-series Model，最基礎(chǔ)的有隱馬爾可夫模型（HMM）卒暂，卡曼濾波（Kalman Filter）啄栓，粒子濾波（Particle Filter）。 - 4. Non-Parameteric Model也祠，此模型最重要的特點是參數(shù)空間無限化昙楚，參數(shù)不是一個確定的值，而是一個服從分布齿坷，比如Gaussian Process（GP）模型桂肌，此模型也是Bayesian Model的一種。 - 5. Mixed member Model永淌，其代表是LDA模型崎场。 - 6. Factorial Model，包括factor analysis遂蛀，概率PCA模型（P-PCA）谭跨，ICA，和稀疏編碼（Sparse Coding）等等李滴。 上述的六種模型都是淺層的生成模型螃宙，什么意思呢？簡單的說就是模型的結(jié)構(gòu)相對固定所坯，變換不大谆扎，模型的層數(shù)也很較少。- 下面描述的是Deep生成模型芹助，模型結(jié)構(gòu)變化較大堂湖，而且層數(shù)較多。深度生成模型中状土，經(jīng)常將神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)概率相結(jié)合无蜂。Deep之前的模型，比較固化蒙谓，基本是用來解決特定的問題斥季。 - 7. Energy based model，包括前面講到的累驮，Boltzmann Machines酣倾，Sigmoid Belief Network，Deep Belief Network谤专，Deep Boltzmann Machines灶挟。其主要是基于玻爾茲曼分布的，而實際上玻爾茲曼分布為$\exp\{\mathrm{E}(\theta)\}$毒租，可以看成是熵的形式稚铣。 - 8. Variational Automation Coder，變分自編碼器墅垮。 - 9. GAN惕医，生成對抗神經(jīng)網(wǎng)絡(luò)。 - 10. Flow-base model算色，基于流的模型抬伺。 ### 非概率模型 包括PLA，Support Vector Machines（支持向量機）灾梦，KNN（K近鄰網(wǎng)絡(luò)）峡钓，Tree Model妓笙，神經(jīng)網(wǎng)絡(luò)（Neural Network）注意神經(jīng)網(wǎng)絡(luò)非概率模型，但是和判別模型并不是非黑即白的關(guān)系能岩，也可以起到判別模型的作用寞宫。其大部分情況是發(fā)揮著非概率模型的作用。 ## 非監(jiān)督任務(wù) 非監(jiān)督任務(wù)中拉鹃，概率模型都是生成模型辈赋，和前文描述的監(jiān)督學(xué)習(xí)中的概率模型是一樣的。這章主要講述是非概率模型膏燕。非概率模型包括钥屈，PCA（SVD分解），LSA（潛語義分析）坝辫，K-means篷就，Auto-encoder。 ## 小結(jié) 本小節(jié)主要是從任務(wù)的角度介紹了一下近忙，可以分為監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)腻脏。實際上PCA推廣之后就是概率PCA（P-PCA），然后進(jìn)一步發(fā)展就是因子分析（FA）银锻。K-means算法發(fā)展得到Gaussian Mixture Model（GMM）永品。從auto-Encoder發(fā)展得到VAE。從LSA模型發(fā)展得到PLSA击纬，最后得到LDA模型鼎姐。很多模型都是一步步發(fā)展出來的。 參考B站視頻[【機器學(xué)習(xí)】【白板推導(dǎo)系列】](https://space.bilibili.com/97068901) 更多干貨更振，第一時間更新在以下微信公眾號： ![](https://raw.githubusercontent.com/franztao/blog_picture/main/marktext/2022-12-03-12-49-27-weixin.png) 您的一點點支持炕桨，是我后續(xù)更多的創(chuàng)造和貢獻(xiàn) ![](https://upload-images.jianshu.io/upload_images/27840083-88e6b8a6df0bce60.png) 轉(zhuǎn)載到請包括本文地址 更詳細(xì)的轉(zhuǎn)載事宜請參考[文章如何轉(zhuǎn)載/引用](https://franztao.github.io/2022/12/04/%E6%96%87%E7%AB%A0%E5%A6%82%E4%BD%95%E8%BD%AC%E8%BD%BD%E5%92%8C%E5%BC%95%E7%94%A8/) 本文由[mdnice](https://mdnice.com/?platform=6)多平臺發(fā)布
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 人面猴
    序言：七十年代末，一起剝皮案震驚了整個濱河市肯腕，隨后出現(xiàn)的幾起案子献宫，更是在濱河造成了極大的恐慌祠汇，老刑警劉巖顷窒，帶你破解...
    沈念sama閱讀 218,122評論 6贊 505
  • 死咒
    序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現(xiàn)場離奇詭異硼讽，居然都是意外死亡知态，警方通過查閱死者的電腦和手機捷兰，發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,070評論 3贊 395
  • 救了他兩次的神仙讓他今天三更去死
    文/潘曉璐 我一進(jìn)店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來负敏，“玉大人贡茅，你說我怎么就攤上這事。” “怎么了顶考？”我有些...
    開封第一講書人閱讀 164,491評論 0贊 354
  • 道士緝兇錄：失蹤的賣姜人
    文/不壞的土叔 我叫張陵赁还，是天一觀的道長。 經(jīng)常有香客問我驹沿，道長艘策，這世上最難降的妖魔是什么？ 我笑而不...
    開封第一講書人閱讀 58,636評論 1贊 293
  • ?港島之戀（遺憾婚禮）
    正文 為了忘掉前任甚负，我火速辦了婚禮柬焕，結(jié)果婚禮上审残，老公的妹妹穿的比我還像新娘梭域。我一直安慰自己，他們只是感情好搅轿，可當(dāng)我...
    茶點故事閱讀 67,676評論 6贊 392
  • 惡毒庶女頂嫁案：這布局不是一般人想出來的
    文/花漫 我一把揭開白布病涨。 她就那樣靜靜地躺著，像睡著了一般璧坟。 火紅的嫁衣襯著肌膚如雪既穆。 梳的紋絲不亂的頭發(fā)上，一...
    開封第一講書人閱讀 51,541評論 1贊 305
  • 城市分裂傳說
    那天雀鹃，我揣著相機與錄音幻工，去河邊找鬼。 笑死黎茎，一個胖子當(dāng)著我的面吹牛囊颅，可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播傅瞻，決...
    沈念sama閱讀 40,292評論 3贊 418
  • 雙鴛鴦連環(huán)套：你想象不到人心有多黑
    文/蒼蘭香墨 我猛地睜開眼踢代，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了嗅骄？” 一聲冷哼從身側(cè)響起胳挎，我...
    開封第一講書人閱讀 39,211評論 0贊 276
  • 萬榮殺人案實錄
    序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎溺森，沒想到半個月后慕爬，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
    沈念sama閱讀 45,655評論 1贊 314
  • ?護林員之死
    正文 獨居荒郊野嶺守林人離奇死亡屏积，尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,846評論 3贊 336
  • ?白月光啟示錄
    正文 我和宋清朗相戀三年澡罚，在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片肾请。...
    茶點故事閱讀 39,965評論 1贊 348
  • 活死人
    序言：一個原本活蹦亂跳的男人離奇死亡留搔，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出铛铁，到底是詐尸還是另有隱情隔显，我是刑警寧澤却妨，帶...
    沈念sama閱讀 35,684評論 5贊 347
  • ?日本核電站爆炸內(nèi)幕
    正文 年R本政府宣布，位于F島的核電站括眠，受9級特大地震影響彪标，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜掷豺，卻給世界環(huán)境...
    茶點故事閱讀 41,295評論 3贊 329
  • 男人毒藥：我在死后第九天來索命
    文/蒙蒙 一捞烟、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧当船，春花似錦题画、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,894評論 0贊 22
  • 一樁弒父案苍息，背后竟有這般陰謀
    文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至壹置，卻和暖如春竞思，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背钞护。 一陣腳步聲響...
    開封第一講書人閱讀 33,012評論 1贊 269
  • 情欲美人皮
    我被黑心中介騙來泰國打工盖喷， 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留，地道東北人难咕。 一個月前我還...
    沈念sama閱讀 48,126評論 3贊 370
  • 代替公主和親
    正文 我出身青樓课梳，卻偏偏與公主長得像，于是被迫代替她去往敵國和親步藕。 傳聞我的和親對象是個殘疾皇子惦界，可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,914評論 2贊 355

推薦閱讀更多精彩內(nèi)容