我們的世界風起云涌畏鼓,熱鬧非凡酱酬,從互聯(lián)網-到移動互聯(lián)網-到現(xiàn)在很火的物聯(lián)網,從大數(shù)據(jù)-到云計算到目前的機器智能云矫,AI等膳沽。
目前社會上的數(shù)據(jù)量快速增長,目前一天生成的數(shù)據(jù)量让禀,已經超過了從有人類文明到2000年間的所有數(shù)據(jù)之和挑社,隨著物聯(lián)網時代的到來,每天生成的數(shù)據(jù)還將出現(xiàn)指數(shù)型增長巡揍,我們將如何應對如此大規(guī)模的數(shù)據(jù)爆發(fā)式增長痛阻,我想這個是一個值得從業(yè)者深思的課題吧。
在數(shù)據(jù)量增長到TB時代腮敌,我們還可以勉強使用數(shù)據(jù)庫進行統(tǒng)計阱当、分析和存儲等,oracle勉強可以勝任缀皱,db2和TD 可以較好的完成TB數(shù)據(jù)量級的任務斗这。
在數(shù)據(jù)量增長到PB時代,我們或許可以使用MPP數(shù)據(jù)庫勉強完成這項任務啤斗,MPP數(shù)據(jù)庫在很多方面都有大的改進表箭,使用列式存儲等技術可以更高的查詢效率,當然也有其他很多改進钮莲,就不在一一敘述了免钻。目前也已經有地方都已經在推進傳統(tǒng)BI遷移到MPP中了,當然也包括我們目前所在項目組崔拥。
在PB時代极舔,還有很多互聯(lián)網公司使用什么NoSql或者newSql 等各種技術,對這些沒有深入研究链瓦,但是道理基本是想通拆魏。我想說的是那么了EB時代,我們傳統(tǒng)BI使用什么那慈俯?據(jù)說谷歌已經在考慮使用什么GDD技術解決EB時代的數(shù)據(jù)處理了渤刃,但是當數(shù)據(jù)量到達ZB和YB時代怎么,可能更多人都沒有好的辦法贴膘。
也許我們可以不用杞人憂天卖子,我們一個行業(yè)的數(shù)據(jù)量不會快速到達什么EB時代,是的刑峡,我也承認這個問題洋闽,作為個人我們可以不考慮這個玄柠,但是作為一個大數(shù)據(jù)人,我們可能就得考慮這樣的前沿的技術難題吧诫舅。
身為一個傳統(tǒng)行業(yè)的大數(shù)據(jù)人羽利,我們面臨的環(huán)境當然不可比擬目前一線的互聯(lián)網公司,同時我們的數(shù)據(jù)可能更多結構化的骚勘,數(shù)據(jù)量的增長也是可以預見铐伴,但是我們就可以不居安思危去思考嗎?我們應該如何做的更好俏讹,我們應該如何主動改變去適應未來,這個問題我將持續(xù)思考当宴。