在“互聯(lián)網(wǎng)+”政策的推動下会烙,大數(shù)據(jù)產(chǎn)業(yè)發(fā)展得越來越興盛茴晋。其核心——大數(shù)據(jù)技術(shù)呛每,也在迅猛地前進(jìn)中。今天乓诽,大圣眾包威客平臺(www.dashengzb.cn)便來與你一起看看大數(shù)據(jù)開源技術(shù)的演進(jìn)之路及其趨勢帜羊。
一、大數(shù)據(jù)開源技術(shù)的現(xiàn)狀與展望
要說當(dāng)前的大數(shù)據(jù)發(fā)展鸠天,可謂十分復(fù)雜讼育。尤其是當(dāng)用戶想要挑選適合自身的大數(shù)據(jù)技術(shù)時(shí),往往是躊躇忐忑的稠集,既要考慮這個(gè)技術(shù)是不是真正解決了自身的問題奶段,又要考慮該技術(shù)是否得到了積極快速的發(fā)展,還要憂心是不是還有新的技術(shù)加入很多能夠提升的新功能剥纷。
事實(shí)上痹籍,當(dāng)不同的技術(shù)之間差別不是很大的時(shí)候,用戶是可以隨便選某一種技術(shù)以所用筷畦。但是縱觀當(dāng)今大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展词裤,在未來刺洒,很大機(jī)會是可能出現(xiàn)更加集中化鳖宾、一體化的技術(shù)。
二逆航、大數(shù)據(jù)開源技術(shù)的發(fā)展趨勢
在未來的大數(shù)據(jù)產(chǎn)業(yè)中鼎文,具體一點(diǎn)說,在日新月異的大數(shù)據(jù)技術(shù)中因俐,未來幾年將會出現(xiàn)哪些技術(shù)呢拇惋?趨勢又是如何呢周偎?
1.流計(jì)算備受注重
在過去幾年當(dāng)中,可以觀察到很多人都注意到內(nèi)存計(jì)算撑帖,但是因?yàn)閮?nèi)存變得越來越便宜蓉坎,在很多的系統(tǒng)當(dāng)中內(nèi)存計(jì)算幾乎成為了大數(shù)據(jù)處理方面的一個(gè)標(biāo)配。同時(shí)胡嘿,流計(jì)算變得越來越流行蛉艾,在最近幾年中,很多專業(yè)人士都特別地注重了流計(jì)算衷敌。在流處理方面勿侯,Spark已經(jīng)成為了標(biāo)準(zhǔn)的工具。
2.復(fù)雜的大數(shù)據(jù)庫出現(xiàn)
既然要面對很多不同的數(shù)據(jù)缴罗,那勢必需要有很復(fù)雜的大數(shù)據(jù)庫來處理助琐。當(dāng)然,再復(fù)雜的事物面氓,基礎(chǔ)的“元件”還是要有兵钮,所以,未來的開源大數(shù)據(jù)的堆棧至少應(yīng)包括以下幾個(gè)部分:第一舌界,處理單元矢空;第二,儲存單元禀横;第三屁药,查詢單元。在查詢方面柏锄,Druid做得比較不錯(cuò)酿箭。
3.項(xiàng)目幾乎達(dá)到飽和點(diǎn)
縱觀時(shí)下的發(fā)展態(tài)勢,開源大數(shù)據(jù)項(xiàng)目幾乎已經(jīng)達(dá)到了飽和點(diǎn)趾娃。大概大數(shù)據(jù)當(dāng)中一旦出現(xiàn)一個(gè)問題缭嫡,就會同時(shí)有五個(gè)左右的解決方案出現(xiàn),索引很多問題都可以被快速地解決抬闷。在數(shù)據(jù)提交方面妇蛀,當(dāng)前的Kafka已經(jīng)達(dá)到了這個(gè)標(biāo)準(zhǔn)。
4.更多應(yīng)用的出現(xiàn)
當(dāng)大數(shù)據(jù)的基礎(chǔ)設(shè)施架構(gòu)不斷成熟笤成,不斷改善评架,不斷穩(wěn)定之后,定會催生出很多相關(guān)的應(yīng)用】挥荆現(xiàn)在纵诞,市面上已經(jīng)存在一些可視化的工具,以及虛擬現(xiàn)實(shí)的工具在應(yīng)用開源數(shù)據(jù)培遵,此態(tài)勢勢必愈加壯大浙芙。未來幾年登刺,架構(gòu)和設(shè)施更加穩(wěn)定后,還可以研究AR嗡呼、深度學(xué)習(xí)纸俭、人工智能,等等南窗。
5.通用的標(biāo)準(zhǔn)出現(xiàn)
當(dāng)前耳熟能詳?shù)拇髷?shù)據(jù)的技術(shù)掉蔬,還是比較新的技術(shù),按照發(fā)展的規(guī)律來看矾瘾,還需要一些時(shí)間才會出現(xiàn)共同的標(biāo)準(zhǔn)女轿。但重點(diǎn)是,大數(shù)據(jù)產(chǎn)業(yè)火爆得程度壕翩,已經(jīng)超出一般的預(yù)想蛉迹,加上政策的支持,相信在不久的將來放妈,很快就會出現(xiàn)大數(shù)據(jù)方面通用的標(biāo)準(zhǔn)北救。
無論是以宏觀的角度還是微觀的角度,大數(shù)據(jù)開源技術(shù)都在基礎(chǔ)網(wǎng)絡(luò)芜抒、基礎(chǔ)系統(tǒng)上迅速發(fā)展珍策,也是現(xiàn)今流行的趨勢。另外宅倒,IT社區(qū)也會變得越來越龐大攘宙。不相信?讓我們一起拭目以待吧拐迁!
(更多大數(shù)據(jù)與商業(yè)智能領(lǐng)域干貨蹭劈、兼職機(jī)會及行業(yè)資源分享等請關(guān)注大圣眾包平臺,或添加大圣花花個(gè)人微信號(dashenghuaer)线召,拉你入bigdata&BI交流群330648564铺韧。)