過(guò)度擬合

有些人做過(guò)大量功課衩辟,掌握了豐富數(shù)據(jù)和資料盐欺,為什么他們的決策水平赁豆,反而不如大佬短短時(shí)間內(nèi)的快速判斷?難道說(shuō)冗美,對(duì)一個(gè)問(wèn)題思考得多魔种,反而可能沒(méi)好處嗎?

如果你的模型涉及到?jīng)Q策判斷和預(yù)測(cè)未來(lái)粉洼,那么精確寫(xiě)實(shí)往往不如粗略寫(xiě)意节预。事實(shí)上,你的模型越寫(xiě)實(shí)属韧,你的最終效果反而可能越差安拟!數(shù)學(xué)家,管這個(gè)叫做“過(guò)度擬合”挫剑。

結(jié)婚以后去扣,生活滿意度隨著時(shí)間的變化。曲線上有10個(gè)點(diǎn)樊破,對(duì)應(yīng)結(jié)婚第1年到第10年的數(shù)據(jù)。



據(jù)這10個(gè)點(diǎn)來(lái)預(yù)測(cè)人們結(jié)婚15年甚至20年之后的幸福度唆铐,應(yīng)該怎么辦呢哲戚?你就需要根據(jù)現(xiàn)有的10個(gè)點(diǎn)畫(huà)出一條曲線,然后再把這條曲線按照原來(lái)的趨勢(shì)延伸出去艾岂。畫(huà)曲線發(fā)現(xiàn)趨勢(shì)的這個(gè)動(dòng)作顺少,就叫“擬合”。



如果曲線只是時(shí)間的函數(shù)王浴,那么一階多項(xiàng)式脆炎,f(t)=a+bt,就是假設(shè)生活滿意度只和時(shí)間的一次方有關(guān)氓辣。你也可以進(jìn)行二階多項(xiàng)式擬合秒裕,f(t)=a+bt+ct^2,也就是生活滿意度不僅和時(shí)間有關(guān)钞啸,還和時(shí)間的平方有關(guān)几蜻。以此類推,你還可以考慮更高階的多項(xiàng)式擬合体斩。

九階多項(xiàng)式擬合的結(jié)果是錯(cuò)的離譜梭稚。

過(guò)度擬合。你的模型想要一絲不茍地反映已知的所有數(shù)據(jù)絮吵,它對(duì)未知數(shù)據(jù)的預(yù)測(cè)能力就會(huì)非常差弧烤。這是因?yàn)樗^的“已知”數(shù)據(jù),都是有誤差的蹬敲!精準(zhǔn)的擬合會(huì)把數(shù)據(jù)的誤差給放大 ——擬合得越精確暇昂,并不代表預(yù)測(cè)結(jié)果就越準(zhǔn)確想幻,擬合得過(guò)度精確后反而結(jié)果更加糟糕。

解決:

不要想忒多话浇。

wwg


這篇學(xué)習(xí)了之后脏毯,感覺(jué)醍醐灌頂。

做投資市場(chǎng)這么多年幔崖,我經(jīng)常犯這樣的錯(cuò)誤

具備發(fā)掘大牛公司的能力食店,也發(fā)掘了一大堆牛的公司。但是總體收益雖然也是在那5%的人赏寇,但是只有長(zhǎng)期持有這些牛股的1/10吉嫩。

最大的問(wèn)題就是過(guò)度擬合。

信息爆炸的年代嗅定,總是跳出來(lái)各種各樣的信息自娩。

其實(shí)每日盯盤,也是造成信息過(guò)載的重要原因渠退。

真正的一波長(zhǎng)邏輯忙迁,自然會(huì)有過(guò)程中的回調(diào)等,只要不是核心因素碎乃,都是噪聲姊扔。

很多時(shí)候說(shuō)耐心不夠,其實(shí)耐心是建立在一定的基礎(chǔ)上梅誓,那就是對(duì)信息的去繁存簡(jiǎn)恰梢。對(duì)很多噪音的屏蔽能力。

很多年前看過(guò)這樣一文梗掰,共勉嵌言。


《種樹(shù)郭橐駝傳》,唐代文學(xué)家柳宗元的傳記作品


郭橐駝及穗,不知道他起初叫什么名字摧茴。他患了脊背彎曲的病,脊背突起而彎腰行走拥坛,就像駱駝一樣蓬蝶,所以鄉(xiāng)里人稱呼他叫“橐駝”。橐駝聽(tīng)說(shuō)后猜惋,說(shuō):“這個(gè)名字很好啊丸氛,這樣稱呼我確實(shí)恰當(dāng)≈ぃ”于是他舍棄了他原來(lái)的名字缓窜,也自稱起“橐駝”來(lái)。

他的家鄉(xiāng)叫豐樂(lè)鄉(xiāng),在長(zhǎng)安城西邊禾锤。郭橐駝以種樹(shù)為職業(yè)私股,凡是長(zhǎng)安城里經(jīng)營(yíng)園林游覽和做水果買賣的豪富人,都爭(zhēng)著把他接到家里奉養(yǎng)恩掷。觀察橐駝種的樹(shù)倡鲸,有的是移植來(lái)的,也沒(méi)有不成活的黄娘;而且長(zhǎng)得高大茂盛峭状,結(jié)果實(shí)早而且多。其他種樹(shù)的人即使暗中觀察逼争、羨慕效仿优床,也沒(méi)有誰(shuí)能比得上。

有人問(wèn)他種樹(shù)種得好的原因誓焦,他回答說(shuō):“我郭橐駝不是能夠使樹(shù)木活得長(zhǎng)久而且長(zhǎng)得很快胆敞,只不過(guò)能夠順應(yīng)樹(shù)木的天性,來(lái)實(shí)現(xiàn)其自身的習(xí)性罷了杂伟。但凡種樹(shù)的方法移层,它的樹(shù)根要舒展,它的培土要平均稿壁,它根下的土要用原來(lái)培育樹(shù)苗的土幽钢,它搗土要結(jié)實(shí)。已經(jīng)這樣做了傅是,就不要再動(dòng),不要再憂慮它蕾羊,離開(kāi)它不再回顧喧笔。栽種時(shí)要像對(duì)待子女一樣細(xì)心,栽好后要像丟棄它一樣放在一邊龟再,那么樹(shù)木的天性就得以保全书闸,它的習(xí)性就得以實(shí)現(xiàn)。所以我只不過(guò)不妨礙它的生長(zhǎng)罷了利凑,并不是有能使它長(zhǎng)得高大茂盛的辦法浆劲;只不過(guò)不抑制、減少它的結(jié)果罷了哀澈,也并不是有能使它果實(shí)結(jié)得早又多的辦法牌借。別的種樹(shù)人卻不是這樣,樹(shù)根拳曲又換了生土割按;他培土的時(shí)候膨报,不是過(guò)多就是過(guò)少。如果有能夠和這種做法相反的人,就又太過(guò)于吝惜它們了现柠,擔(dān)心它太過(guò)分了院领,在早晨去看了,在晚上又去摸摸够吩,已經(jīng)離開(kāi)了比然,又回頭去看看。更嚴(yán)重的周循,甚至用指甲劃破樹(shù)皮來(lái)觀察它是活著還是枯死了强法,搖晃樹(shù)根來(lái)看它是否栽結(jié)實(shí)了,這樣樹(shù)木的天性就一天天遠(yuǎn)去了鱼鼓。雖然說(shuō)是喜愛(ài)它拟烫,這實(shí)際上是害了它,雖說(shuō)是擔(dān)心它迄本,這實(shí)際上是仇視它硕淑。所以他們都不如我。我又能做什么呢嘉赎?”

問(wèn)的人說(shuō):“把你種樹(shù)的方法置媳,轉(zhuǎn)用到做官治民上,可行嗎公条?”橐駝?wù)f:“我只知道種樹(shù)罷了拇囊,做官治民,不是我的職業(yè)。但是我住在鄉(xiāng)里靶橱,看見(jiàn)那些官吏喜歡不斷地發(fā)號(hào)施令寥袭,好像是很憐愛(ài)(百姓)啊,但百姓最終反因此受到禍害关霸。在早上在晚上那些小吏跑來(lái)大喊:‘長(zhǎng)官命令:催促你們耕地传黄,勉勵(lì)你們種植,督促你們收獲队寇,早些煮繭抽絲膘掰,早些織你們的布,養(yǎng)育你們的小孩佳遣,喂大你們的雞和豬识埋。’一會(huì)兒打鼓招聚大家零渐,一會(huì)兒鼓梆召集大家窒舟,我們這些小百姓停止吃早、晚飯去慰勞那些小吏尚且不得空暇相恃,又怎能使我們繁衍生息辜纲,使我們民心安定呢笨觅?所以我們既困苦又疲乏,像這樣(治民反而擾民),它與我種樹(shù)的行當(dāng)大概也有相似的地方吧耕腾?”

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末见剩,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子扫俺,更是在濱河造成了極大的恐慌苍苞,老刑警劉巖,帶你破解...
    沈念sama閱讀 219,539評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件狼纬,死亡現(xiàn)場(chǎng)離奇詭異羹呵,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)疗琉,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,594評(píng)論 3 396
  • 文/潘曉璐 我一進(jìn)店門冈欢,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人盈简,你說(shuō)我怎么就攤上這事凑耻。” “怎么了柠贤?”我有些...
    開(kāi)封第一講書(shū)人閱讀 165,871評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵香浩,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我臼勉,道長(zhǎng)邻吭,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,963評(píng)論 1 295
  • 正文 為了忘掉前任宴霸,我火速辦了婚禮囱晴,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘瓢谢。我一直安慰自己速缆,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,984評(píng)論 6 393
  • 文/花漫 我一把揭開(kāi)白布恩闻。 她就那樣靜靜地躺著,像睡著了一般剧董。 火紅的嫁衣襯著肌膚如雪幢尚。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 51,763評(píng)論 1 307
  • 那天翅楼,我揣著相機(jī)與錄音尉剩,去河邊找鬼。 笑死毅臊,一個(gè)胖子當(dāng)著我的面吹牛理茎,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 40,468評(píng)論 3 420
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼皂林,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼朗鸠!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起础倍,我...
    開(kāi)封第一講書(shū)人閱讀 39,357評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤烛占,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后沟启,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體忆家,經(jīng)...
    沈念sama閱讀 45,850評(píng)論 1 317
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,002評(píng)論 3 338
  • 正文 我和宋清朗相戀三年德迹,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了芽卿。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,144評(píng)論 1 351
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡胳搞,死狀恐怖卸例,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情流酬,我是刑警寧澤币厕,帶...
    沈念sama閱讀 35,823評(píng)論 5 346
  • 正文 年R本政府宣布,位于F島的核電站芽腾,受9級(jí)特大地震影響旦装,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜摊滔,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,483評(píng)論 3 331
  • 文/蒙蒙 一阴绢、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧艰躺,春花似錦呻袭、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,026評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至页响,卻和暖如春篓足,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背闰蚕。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,150評(píng)論 1 272
  • 我被黑心中介騙來(lái)泰國(guó)打工栈拖, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人没陡。 一個(gè)月前我還...
    沈念sama閱讀 48,415評(píng)論 3 373
  • 正文 我出身青樓涩哟,卻偏偏與公主長(zhǎng)得像索赏,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子贴彼,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,092評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容