文|鄉(xiāng)野山人左大瑞
今天下午開會討論一個業(yè)務(wù)方的需求应闯,我去旁聽,領(lǐng)導提了一句“熱數(shù)據(jù)”船万,當時心里一臉蒙蔽骨田,數(shù)據(jù)還能有溫度态贤?
臨下班的時候,整理今天的會議筆記箱吕,看到了打著問好的熱數(shù)據(jù)柿冲,于是決定查一查到底是什么茬高。
資料并不多,不過并不妨礙對他的初步認知假抄,不是真正部署數(shù)據(jù)庫怎栽,我覺得目前的了解夠用了(大言不慚,若有高手看到宿饱,還請繼續(xù)補充)
下面會從兩個層面上來說:一個是數(shù)據(jù)的訪問頻次層面熏瞄,一個是數(shù)據(jù)分析層面。
一刑棵,訪問頻次
從字面意思來簡單的說巴刻,熱數(shù)據(jù)就是訪問的多,門庭若市蛉签,自帶體溫且有可能摩擦起熱,你懂的碍舍,于是溫度就起來了柠座。冷數(shù)據(jù)就是基本上沒什么客人來訪,門庭冷落車馬稀片橡,沒人氣兒妈经,空氣里都冷了幾分。
熱數(shù)據(jù):是需要被計算節(jié)點頻繁訪問的在線類數(shù)據(jù)。
冷數(shù)據(jù):是對于離線類不經(jīng)常訪問的數(shù)據(jù)吹泡,比如企業(yè)備份數(shù)據(jù)骤星、業(yè)務(wù)與操作日志數(shù)據(jù)、話單與統(tǒng)計數(shù)據(jù)爆哑。
兩個不同的訪問頻次洞难,就導致了在數(shù)據(jù)庫搭建的各自不同,有一句話簡單明了:
熱數(shù)據(jù)就近計算揭朝,冷數(shù)據(jù)集中存儲
所以队贱,熱數(shù)據(jù)因為訪問頻次需求大,效率要求高潭袱,所以就近計算和部署柱嫌;冷數(shù)據(jù)訪問頻次低,效率要求慢屯换,可以做集中化部署编丘,而基于大規(guī)模存儲池里,可以對數(shù)據(jù)進行壓縮彤悔、去重等降低成本的方法瘪吏。
由此看來,數(shù)據(jù)基于訪問頻次部署的好的話還能給公司節(jié)省服務(wù)器蜗巧,這就造福了多少因為服務(wù)器夭折的項目掌眠。
二,數(shù)據(jù)分析層面
這兩年幕屹,互聯(lián)網(wǎng)公司開始打數(shù)據(jù)的旗號增加公司價值和估值蓝丙,比如我上家公司,是一個傳統(tǒng)體檢行業(yè)下的互聯(lián)網(wǎng)子公司望拖,是希望把做體檢積累了很多年的數(shù)據(jù)進行分析渺尘,做健康管理和大病預測。以為這個海量數(shù)據(jù)说敏,真的是吸引了很多高才能人事鸥跟,也是我和科學家們打交道最多的一份工作,有醫(yī)學博士盔沫、數(shù)據(jù)科學家医咨、圖像處理穿甲、返聘的主任醫(yī)師架诞。
但是但是拟淮,在建立數(shù)據(jù)模型的時候發(fā)現(xiàn),這些數(shù)據(jù)只是剛剛起步谴忧,還處于數(shù)據(jù)清洗的階段很泊,甚至有些數(shù)據(jù)角虫,還不能很好的指標化,文字化委造。
所以戳鹅,就算打著大數(shù)據(jù)的旗號,也無奈的沒能做出數(shù)據(jù)分析的事情昏兆,所以在生產(chǎn)數(shù)據(jù)的時候粉楚,做好數(shù)據(jù)部署和數(shù)據(jù)分析的準備,提前做好字段拆分亮垫,埋點部署……
從數(shù)據(jù)分析的層面來看,不僅有冷熱兩種數(shù)據(jù)伟骨,還有溫數(shù)據(jù)饮潦,而提出這個概念的是個燈,個燈是這么介紹的:
個燈獨有的數(shù)據(jù)技術(shù)引擎:冷數(shù)據(jù)携狭、溫數(shù)據(jù)和熱數(shù)據(jù)继蜡。冷數(shù)據(jù)——性別、興趣逛腿、常住地稀并、職業(yè)、年齡等數(shù)據(jù)畫像单默,表征“這是什么樣的人”碘举;溫數(shù)據(jù)——近期活躍應(yīng)用、近期去過的地方等具有一定時效性的行為數(shù)據(jù)搁廓,表征“最近對什么感興趣”引颈;熱數(shù)據(jù)——當前地點、打開的應(yīng)用等場景化明顯的境蜕、稍縱即逝的營銷機會蝙场,表征“正在哪里干什么”。
它基于這三個不同溫度的數(shù)據(jù)粱年,打造了個燈的三條業(yè)務(wù)線售滤,志在打造個燈廣告產(chǎn)品生態(tài)圈,多多賺錢台诗。
個燈將其說成是數(shù)據(jù)技術(shù)引擎完箩,對于我來說,這個的層面更像是數(shù)據(jù)的分析和應(yīng)用層面拉队,上面的第一點說的是打地基嗜憔,而第二點更像是蓋樓還是蓋房。
不管是哪個層面的氏仗,當數(shù)據(jù)動起來的時候吉捶,才會產(chǎn)生價值夺鲜,而數(shù)據(jù)的價值,就像是一座有無數(shù)寶藏的礦山呐舔,挖礦的人對于數(shù)據(jù)的洞察力币励、提取力和分析力決定了他能挖出鉆石還是煤炭。
互聯(lián)網(wǎng)發(fā)展的太快珊拼,快到政府意識到的時候食呻,都有點兒跟不上節(jié)奏了,所以現(xiàn)在海量的數(shù)據(jù)在各個公司下澎现,沒有有效且有力的監(jiān)管仅胞。總有一天剑辫,數(shù)據(jù)全權(quán)開放給政府干旧,數(shù)據(jù)共享,到了那一天妹蔽,數(shù)據(jù)將比自己更了解我們椎眯。而那個時候,是不是就像《未來簡史》里說的胳岂,我們都有一個比我們自己更懂自己的機器人管家编整,想想其實有點兒小恐怖,畢竟我心里有一些小秘密乳丰,沒有告訴任何人掌测。
文中對于冷熱數(shù)據(jù)的人士上若有不對觀點,請隨時指正产园,多謝赏半!