機(jī)械到數(shù)據(jù)分析的轉(zhuǎn)變歷程

大一和廈大金融的朋友一起做外匯痊乾,做股票介评,到了大二順理成章的成為了自己學(xué)校創(chuàng)業(yè)與風(fēng)險(xiǎn)投資協(xié)會(huì)的會(huì)長(zhǎng)更米,順應(yīng)當(dāng)時(shí)大學(xué)生熱潮就組了一個(gè)設(shè)計(jì)工作室給創(chuàng)業(yè)的朋友提供logo、海報(bào)設(shè)計(jì)抄罕。對(duì)于自己的專(zhuān)業(yè)機(jī)械設(shè)計(jì)也沒(méi)有落下太多允蚣,但這兩年卻很混亂,因?yàn)橐恢睕](méi)找到自己感興趣的點(diǎn)呆贿,可以ALL IN 的那個(gè)點(diǎn)嚷兔。直到接觸了一門(mén)學(xué)科概率論與數(shù)理統(tǒng)計(jì),一個(gè)很有魅力的老師把我?guī)нM(jìn)了統(tǒng)計(jì)的世界做入。

那個(gè)時(shí)候我花了兩個(gè)月的時(shí)間寫(xiě)了篇 文章《以小見(jiàn)大之樣本方差的無(wú)偏性》冒晰,進(jìn)入了一種我向往的狀態(tài)那種ALL IN 的狀態(tài)。我通過(guò)樣本方差這個(gè)點(diǎn)母蛛,把統(tǒng)計(jì)學(xué)的邏輯梳理了一遍翩剪,而數(shù)據(jù)分析的工具就是統(tǒng)計(jì)學(xué)。統(tǒng)計(jì)學(xué)是什么:design彩郊,設(shè)計(jì)前弯,數(shù)據(jù)的收集、埋點(diǎn)秫逝,比如通過(guò)GA恕出,talkingdata, 友盟這些工具或者抽樣調(diào)查的方式來(lái)獲取數(shù)據(jù)违帆;description,描述浙巫,從均值方差偏度峰度異常值這些到同比環(huán)比定基比移動(dòng)平均去分析數(shù)據(jù),尋找趨勢(shì)tipping point,去發(fā)現(xiàn)問(wèn)題的畴;之后則是inference渊抄,統(tǒng)計(jì)推斷,用機(jī)器學(xué)習(xí)算法去建立模型丧裁,做出預(yù)測(cè)推斷护桦。

當(dāng)時(shí)讓我困惑的點(diǎn),是為什么樣本可以去估計(jì)總體煎娇?他們差別那么大二庵,怎么可能會(huì)沒(méi)有偏差?數(shù)據(jù)所收集到的基本都是總體的一個(gè)部分缓呛,或者說(shuō)用短時(shí)期的數(shù)據(jù)去推測(cè)長(zhǎng)時(shí)期的趨勢(shì)催享,他何以可能去做到這點(diǎn)?從理論層面上哟绊,這個(gè)問(wèn)題可以追溯到大數(shù)定律因妙、中心極限定理、概率票髓。
在理清楚這個(gè)原理后兰迫,那么又如何去做到更加精確地去描述這個(gè)總體?這便到了數(shù)理統(tǒng)計(jì)的三大核心:參數(shù)估計(jì)炬称、假設(shè)檢驗(yàn)汁果、非參數(shù)估計(jì)。
而無(wú)偏性就是由于參數(shù)估計(jì)所引起的玲躯,樣本的方差的公式是用RSS/n-1,這個(gè)n-1的自由度保證了估計(jì)的沒(méi)有偏差据德。而無(wú)偏估計(jì)又有很多個(gè),從這個(gè)概念也就有了MSE,mean sum of error跷车,用來(lái)選擇到底用哪個(gè)無(wú)偏估計(jì)棘利。這就有了機(jī)器學(xué)習(xí)一個(gè)非常關(guān)鍵的調(diào)參指標(biāo)---test MSE或者說(shuō)validate MSE。在選擇機(jī)器學(xué)習(xí)算法的關(guān)鍵是方差偏差的均衡朽缴。像SVM LR LDA LASSO RIDGE 這些算法本質(zhì)區(qū)別是因考慮到方差偏差均衡善玫,loss function 的不同所引起的。

所以正是因?yàn)檫@篇文章密强,才慢慢打通了我的一些概念茅郎。在運(yùn)用統(tǒng)計(jì)去做數(shù)據(jù)分析時(shí),它是建立在一個(gè)概率基礎(chǔ)上的或渤。數(shù)據(jù)分析是什么系冗,收集數(shù)據(jù),發(fā)現(xiàn)問(wèn)題薪鹦,提出目標(biāo)掌敬,建立模型惯豆,調(diào)參,驗(yàn)證測(cè)試改版奔害,然后又收集數(shù)據(jù)楷兽,這樣不斷循環(huán)的一個(gè)過(guò)程。
其實(shí)我考慮過(guò)去考研华临,統(tǒng)計(jì)或者CS方向拄养,但后來(lái)放棄了。因?yàn)槲抑酪眨瑪?shù)據(jù)分析它的關(guān)鍵點(diǎn)并不是嚴(yán)格的數(shù)學(xué)證明或者說(shuō)強(qiáng)悍的編程能力,更多的是一種思維跛梗,一種能夠把業(yè)務(wù)寻馏,產(chǎn)品,后端都結(jié)合起來(lái)的一種能力核偿,甚至要TO C诚欠,而這些技能,讀研并不能給我漾岳。所以我特別渴望轰绵,能夠找到一個(gè)實(shí)習(xí),找到一個(gè)團(tuán)隊(duì)尼荆,不斷的去學(xué)習(xí)去成長(zhǎng)左腔,去創(chuàng)造一些有價(jià)值的東西,真正的去解決一個(gè)業(yè)務(wù)問(wèn)題捅儒。這就是我目前最大的目標(biāo)液样。

觸動(dòng)我的有兩點(diǎn),一個(gè)是在學(xué)習(xí)樸素貝葉斯算法時(shí)有個(gè)例子巧还,它說(shuō)鞭莽,對(duì)于一條女生內(nèi)褲,機(jī)器學(xué)習(xí)需要大量的訓(xùn)練數(shù)據(jù)去不斷地學(xué)習(xí)才能判別出麸祷,這是一個(gè)女生內(nèi)褲澎怒,而人卻能夠立馬判別,也就是它最大的缺點(diǎn)就是不能很好的去解釋或者預(yù)測(cè)有大量噪聲和特征值的數(shù)據(jù)阶牍。

第二個(gè)是今日頭條的一個(gè)黑科技讓我感觸很深喷面,他新聞的推薦機(jī)制通過(guò)讀取用戶(hù)微信公眾號(hào)的logo來(lái)推測(cè)你的偏好。這個(gè)算法更多的是一種思維走孽,而不是算法本身乖酬。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市融求,隨后出現(xiàn)的幾起案子咬像,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 217,542評(píng)論 6 504
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件县昂,死亡現(xiàn)場(chǎng)離奇詭異肮柜,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)倒彰,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,822評(píng)論 3 394
  • 文/潘曉璐 我一進(jìn)店門(mén)审洞,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人待讳,你說(shuō)我怎么就攤上這事芒澜。” “怎么了创淡?”我有些...
    開(kāi)封第一講書(shū)人閱讀 163,912評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵痴晦,是天一觀(guān)的道長(zhǎng)。 經(jīng)常有香客問(wèn)我琳彩,道長(zhǎng)誊酌,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,449評(píng)論 1 293
  • 正文 為了忘掉前任露乏,我火速辦了婚禮碧浊,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘瘟仿。我一直安慰自己箱锐,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,500評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布劳较。 她就那樣靜靜地躺著瑞躺,像睡著了一般。 火紅的嫁衣襯著肌膚如雪兴想。 梳的紋絲不亂的頭發(fā)上幢哨,一...
    開(kāi)封第一講書(shū)人閱讀 51,370評(píng)論 1 302
  • 那天,我揣著相機(jī)與錄音嫂便,去河邊找鬼捞镰。 笑死,一個(gè)胖子當(dāng)著我的面吹牛毙替,可吹牛的內(nèi)容都是我干的岸售。 我是一名探鬼主播,決...
    沈念sama閱讀 40,193評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼厂画,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼凸丸!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起袱院,我...
    開(kāi)封第一講書(shū)人閱讀 39,074評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤屎慢,失蹤者是張志新(化名)和其女友劉穎瞭稼,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體腻惠,經(jīng)...
    沈念sama閱讀 45,505評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡环肘,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,722評(píng)論 3 335
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了集灌。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片悔雹。...
    茶點(diǎn)故事閱讀 39,841評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖欣喧,靈堂內(nèi)的尸體忽然破棺而出腌零,到底是詐尸還是另有隱情,我是刑警寧澤唆阿,帶...
    沈念sama閱讀 35,569評(píng)論 5 345
  • 正文 年R本政府宣布益涧,位于F島的核電站,受9級(jí)特大地震影響酷鸦,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜牙咏,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,168評(píng)論 3 328
  • 文/蒙蒙 一臼隔、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧妄壶,春花似錦摔握、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,783評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至伊磺,卻和暖如春盛正,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背屑埋。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,918評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工豪筝, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人摘能。 一個(gè)月前我還...
    沈念sama閱讀 47,962評(píng)論 2 370
  • 正文 我出身青樓续崖,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親团搞。 傳聞我的和親對(duì)象是個(gè)殘疾皇子严望,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,781評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容