冷數(shù)據(jù)秃流、溫數(shù)據(jù)柳弄、熱數(shù)據(jù),難道數(shù)據(jù)也是有溫度的峻贮?

文|鄉(xiāng)野山人左大瑞
今天下午開會討論一個業(yè)務(wù)方的需求应闯,我去旁聽,領(lǐng)導提了一句“熱數(shù)據(jù)”船万,當時心里一臉蒙蔽骨田,數(shù)據(jù)還能有溫度态贤?

一臉懵逼的網(wǎng)絡(luò)圖.jpeg

臨下班的時候,整理今天的會議筆記箱吕,看到了打著問好的熱數(shù)據(jù)柿冲,于是決定查一查到底是什么茬高。

資料并不多,不過并不妨礙對他的初步認知假抄,不是真正部署數(shù)據(jù)庫怎栽,我覺得目前的了解夠用了(大言不慚,若有高手看到宿饱,還請繼續(xù)補充)

下面會從兩個層面上來說:一個是數(shù)據(jù)的訪問頻次層面熏瞄,一個是數(shù)據(jù)分析層面。

一刑棵,訪問頻次

從字面意思來簡單的說巴刻,熱數(shù)據(jù)就是訪問的多,門庭若市蛉签,自帶體溫且有可能摩擦起熱,你懂的碍舍,于是溫度就起來了柠座。冷數(shù)據(jù)就是基本上沒什么客人來訪,門庭冷落車馬稀片橡,沒人氣兒妈经,空氣里都冷了幾分。

熱數(shù)據(jù):是需要被計算節(jié)點頻繁訪問的在線類數(shù)據(jù)。
冷數(shù)據(jù):是對于離線類不經(jīng)常訪問的數(shù)據(jù)吹泡,比如企業(yè)備份數(shù)據(jù)骤星、業(yè)務(wù)與操作日志數(shù)據(jù)、話單與統(tǒng)計數(shù)據(jù)爆哑。

兩個不同的訪問頻次洞难,就導致了在數(shù)據(jù)庫搭建的各自不同,有一句話簡單明了:

熱數(shù)據(jù)就近計算揭朝,冷數(shù)據(jù)集中存儲

所以队贱,熱數(shù)據(jù)因為訪問頻次需求大,效率要求高潭袱,所以就近計算和部署柱嫌;冷數(shù)據(jù)訪問頻次低,效率要求慢屯换,可以做集中化部署编丘,而基于大規(guī)模存儲池里,可以對數(shù)據(jù)進行壓縮彤悔、去重等降低成本的方法瘪吏。

由此看來,數(shù)據(jù)基于訪問頻次部署的好的話還能給公司節(jié)省服務(wù)器蜗巧,這就造福了多少因為服務(wù)器夭折的項目掌眠。


以視頻為例的冷熱存儲

二,數(shù)據(jù)分析層面

這兩年幕屹,互聯(lián)網(wǎng)公司開始打數(shù)據(jù)的旗號增加公司價值和估值蓝丙,比如我上家公司,是一個傳統(tǒng)體檢行業(yè)下的互聯(lián)網(wǎng)子公司望拖,是希望把做體檢積累了很多年的數(shù)據(jù)進行分析渺尘,做健康管理和大病預測。以為這個海量數(shù)據(jù)说敏,真的是吸引了很多高才能人事鸥跟,也是我和科學家們打交道最多的一份工作,有醫(yī)學博士盔沫、數(shù)據(jù)科學家医咨、圖像處理穿甲、返聘的主任醫(yī)師架诞。
但是但是拟淮,在建立數(shù)據(jù)模型的時候發(fā)現(xiàn),這些數(shù)據(jù)只是剛剛起步谴忧,還處于數(shù)據(jù)清洗的階段很泊,甚至有些數(shù)據(jù)角虫,還不能很好的指標化,文字化委造。
所以戳鹅,就算打著大數(shù)據(jù)的旗號,也無奈的沒能做出數(shù)據(jù)分析的事情昏兆,所以在生產(chǎn)數(shù)據(jù)的時候粉楚,做好數(shù)據(jù)部署和數(shù)據(jù)分析的準備,提前做好字段拆分亮垫,埋點部署……

從數(shù)據(jù)分析的層面來看,不僅有冷熱兩種數(shù)據(jù)伟骨,還有溫數(shù)據(jù)饮潦,而提出這個概念的是個燈,個燈是這么介紹的:

個燈獨有的數(shù)據(jù)技術(shù)引擎:冷數(shù)據(jù)携狭、溫數(shù)據(jù)和熱數(shù)據(jù)继蜡。冷數(shù)據(jù)——性別、興趣逛腿、常住地稀并、職業(yè)、年齡等數(shù)據(jù)畫像单默,表征“這是什么樣的人”碘举;溫數(shù)據(jù)——近期活躍應(yīng)用、近期去過的地方等具有一定時效性的行為數(shù)據(jù)搁廓,表征“最近對什么感興趣”引颈;熱數(shù)據(jù)——當前地點、打開的應(yīng)用等場景化明顯的境蜕、稍縱即逝的營銷機會蝙场,表征“正在哪里干什么”。
它基于這三個不同溫度的數(shù)據(jù)粱年,打造了個燈的三條業(yè)務(wù)線售滤,志在打造個燈廣告產(chǎn)品生態(tài)圈,多多賺錢台诗。

個燈將其說成是數(shù)據(jù)技術(shù)引擎完箩,對于我來說,這個的層面更像是數(shù)據(jù)的分析和應(yīng)用層面拉队,上面的第一點說的是打地基嗜憔,而第二點更像是蓋樓還是蓋房。

個燈的三溫度賺錢工具zhuan?qian?zApp

不管是哪個層面的氏仗,當數(shù)據(jù)動起來的時候吉捶,才會產(chǎn)生價值夺鲜,而數(shù)據(jù)的價值,就像是一座有無數(shù)寶藏的礦山呐舔,挖礦的人對于數(shù)據(jù)的洞察力币励、提取力和分析力決定了他能挖出鉆石還是煤炭。

互聯(lián)網(wǎng)發(fā)展的太快珊拼,快到政府意識到的時候食呻,都有點兒跟不上節(jié)奏了,所以現(xiàn)在海量的數(shù)據(jù)在各個公司下澎现,沒有有效且有力的監(jiān)管仅胞。總有一天剑辫,數(shù)據(jù)全權(quán)開放給政府干旧,數(shù)據(jù)共享,到了那一天妹蔽,數(shù)據(jù)將比自己更了解我們椎眯。而那個時候,是不是就像《未來簡史》里說的胳岂,我們都有一個比我們自己更懂自己的機器人管家编整,想想其實有點兒小恐怖,畢竟我心里有一些小秘密乳丰,沒有告訴任何人掌测。

文中對于冷熱數(shù)據(jù)的人士上若有不對觀點,請隨時指正产园,多謝赏半!

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市淆两,隨后出現(xiàn)的幾起案子断箫,更是在濱河造成了極大的恐慌,老刑警劉巖秋冰,帶你破解...
    沈念sama閱讀 218,941評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件仲义,死亡現(xiàn)場離奇詭異,居然都是意外死亡剑勾,警方通過查閱死者的電腦和手機埃撵,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,397評論 3 395
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來虽另,“玉大人暂刘,你說我怎么就攤上這事∥娲蹋” “怎么了谣拣?”我有些...
    開封第一講書人閱讀 165,345評論 0 356
  • 文/不壞的土叔 我叫張陵募寨,是天一觀的道長。 經(jīng)常有香客問我森缠,道長拔鹰,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,851評論 1 295
  • 正文 為了忘掉前任贵涵,我火速辦了婚禮列肢,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘宾茂。我一直安慰自己瓷马,他們只是感情好,可當我...
    茶點故事閱讀 67,868評論 6 392
  • 文/花漫 我一把揭開白布跨晴。 她就那樣靜靜地躺著欧聘,像睡著了一般。 火紅的嫁衣襯著肌膚如雪坟奥。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,688評論 1 305
  • 那天拇厢,我揣著相機與錄音爱谁,去河邊找鬼。 笑死孝偎,一個胖子當著我的面吹牛访敌,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播衣盾,決...
    沈念sama閱讀 40,414評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼寺旺,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了势决?” 一聲冷哼從身側(cè)響起阻塑,我...
    開封第一講書人閱讀 39,319評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎果复,沒想到半個月后陈莽,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,775評論 1 315
  • 正文 獨居荒郊野嶺守林人離奇死亡虽抄,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,945評論 3 336
  • 正文 我和宋清朗相戀三年走搁,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片迈窟。...
    茶點故事閱讀 40,096評論 1 350
  • 序言:一個原本活蹦亂跳的男人離奇死亡私植,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出车酣,到底是詐尸還是另有隱情曲稼,我是刑警寧澤索绪,帶...
    沈念sama閱讀 35,789評論 5 346
  • 正文 年R本政府宣布,位于F島的核電站躯肌,受9級特大地震影響者春,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜清女,卻給世界環(huán)境...
    茶點故事閱讀 41,437評論 3 331
  • 文/蒙蒙 一钱烟、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧嫡丙,春花似錦拴袭、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,993評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至父泳,卻和暖如春般哼,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背惠窄。 一陣腳步聲響...
    開封第一講書人閱讀 33,107評論 1 271
  • 我被黑心中介騙來泰國打工蒸眠, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人杆融。 一個月前我還...
    沈念sama閱讀 48,308評論 3 372
  • 正文 我出身青樓楞卡,卻偏偏與公主長得像,于是被迫代替她去往敵國和親脾歇。 傳聞我的和親對象是個殘疾皇子蒋腮,可洞房花燭夜當晚...
    茶點故事閱讀 45,037評論 2 355

推薦閱讀更多精彩內(nèi)容