一個(gè)菜鳥(niǎo)的自我修養(yǎng)

'''set hive.cli.print.header=``true``; set hive.``fetch``.task.conversion=more; --打印列名 ...

一個(gè)菜鳥(niǎo)的自我修養(yǎng)

@Saint1_e708 沒(méi)事沒(méi)事癣防，交流交流才能進(jìn)步蜗巧，寫(xiě)了好久了蕾盯，剛好自己也復(fù)習(xí)一下

FM模型的一些理解的實(shí)操

原文：https://www.csie.ntu.edu.tw/~b97053/paper/Rendle2010FM.pdf??本文僅僅只是對(duì)文章的一些個(gè)人理解幕屹。本章先回顧一下...

一個(gè)菜鳥(niǎo)的自我修養(yǎng)

2099 6 1

一個(gè)菜鳥(niǎo)的自我修養(yǎng)

@Saint1_e708 這個(gè)里面只是簡(jiǎn)單的一個(gè)demo香嗓。針對(duì)你說(shuō)的問(wèn)題，我自己說(shuō)一下我的理解吧装畅，也可能不太對(duì)。
1）其實(shí)你想問(wèn)的關(guān)于one-hot和label encoding 的區(qū)別沧烈。one-hot確實(shí)會(huì)維度爆炸，以性別為例，如果做label encoding蚂夕，特征只有一列性別迅诬，取值（0男，1女,-1未識(shí)別婿牍，2家庭等）；但是one-hot 特征就會(huì)變成多列等脂，比如第一列就代表是否為男性俏蛮，取值僅有是男或者不是男。這兩者在樹(shù)類(lèi)模型中有差別上遥，比如在label encoding下搏屑，選取性別作為分裂點(diǎn)粉楚，我們知道樹(shù)類(lèi)模型都是y<threshod 在左分支那種方式辣恋，但是實(shí)際上0,1,-1等值是無(wú)序的模软，threshod =0時(shí)伟骨，將-1放左分支，0和1放右分支是存在一定問(wèn)題的携狭。但是one-hot就不一定了，當(dāng)選取是否男性那列的時(shí)候特铝，左分支表示男性暑中，右分支就表示不是男性了，但是具體是女性鲫剿，還是未識(shí)別還是家庭呢？我們就不管了灵莲。
2）這篇文章里只是簡(jiǎn)單的demo雕凹，關(guān)于特征處理未做太多說(shuō)明，確實(shí)連續(xù)特征有提前分桶處理的模型政冻，比如簡(jiǎn)單的樹(shù)模型枚抵，但是像xgb等模型做特征分裂的時(shí)候明场，對(duì)于連續(xù)型特征就有類(lèi)似的機(jī)制汽摹。當(dāng)然回到FM模型，我覺(jué)得可以不用做逼泣，這個(gè)我的理解額趴泌，就類(lèi)比LR模型里，我們并不會(huì)對(duì)連續(xù)型特征做處理拉庶，因?yàn)樗莾?nèi)部是線性運(yùn)算嗜憔，wx沒(méi)有什么問(wèn)題，反而對(duì)于離散值吉捶，要做處理，因?yàn)橐ＷCx=1和x=-1的距離是一致的皆尔。

FM模型的一些理解的實(shí)操

原文：https://www.csie.ntu.edu.tw/~b97053/paper/Rendle2010FM.pdf??本文僅僅只是對(duì)文章的一些個(gè)人理解呐舔。本章先回顧一下...

一個(gè)菜鳥(niǎo)的自我修養(yǎng)

2099 6 1

一個(gè)菜鳥(niǎo)的自我修養(yǎng)

您好床佳，對(duì)于第一個(gè)問(wèn)題：可能此處描述有誤滋早，確實(shí)代碼中未真實(shí)的處理為0-1 one-hot獨(dú)熱編碼，但是我所理解這里的處理就是為了后續(xù)做獨(dú)熱編碼準(zhǔn)備杆麸，因?yàn)槊恳恍袠颖荆≈狄词莧'-1': 1664, 'c9d4222a': 1665, 'ad3062eb': 1666, '8ec974f4': 1667, '78e2e389': 1668}這幾個(gè)取值中的一個(gè)浪感，當(dāng)樣本取值為8ec974f4昔头，也就是只有在1667為1，其它位置為0影兽。第二個(gè)問(wèn)題：不需要加1的揭斧，舉個(gè)例子峻堰，前面的特征全是dense feature總共有6個(gè)（從0開(kāi)始編號(hào) 0,1,2,3,4,5）讹开，此時(shí)total_feature=6捐名，下一個(gè)特征是離散值旦万，取值共有4個(gè)，那么range(6, 6+4)為（6,7,8,9）剛好4個(gè)值镶蹋，沒(méi)有問(wèn)題的。我的理解額贺归，可能中間也有一些問(wèn)題淆两，我也是當(dāng)時(shí)初學(xué)寫(xiě)的一些筆記，可以回想交流一下哈拂酣。

FM模型的一些理解的實(shí)操

原文：https://www.csie.ntu.edu.tw/~b97053/paper/Rendle2010FM.pdf??本文僅僅只是對(duì)文章的一些個(gè)人理解秋冰。本章先回顧一下...

一個(gè)菜鳥(niǎo)的自我修養(yǎng)

2099 6 1

一個(gè)菜鳥(niǎo)的自我修養(yǎng)

??回顧上一節(jié)說(shuō)的FM模型http://www.reibang.com/p/b63c05758b2a婶熬，同樣假設(shè)我們的樣本有個(gè)光坝，維度是，經(jīng)過(guò)ont-hot或者multi-ho...