大數(shù)據(jù)目前分為四大塊:大數(shù)據(jù)技術(shù)、大數(shù)據(jù)工程话告、大數(shù)據(jù)科學(xué)和大數(shù)據(jù)應(yīng)用。其中云計(jì)算是屬于大數(shù)據(jù)技術(shù)的范疇卵慰,是一種通過(guò)Internet以服務(wù) 的方式提供動(dòng)態(tài)可伸縮的虛擬化的資源的計(jì)算模式沙郭。那么這種計(jì)算模式如何實(shí)現(xiàn)呢,Hadoop的來(lái)臨解決了這個(gè)問(wèn)題裳朋,Hadoop是Apache(阿帕切) 的一個(gè)開(kāi)源項(xiàng)目病线,它是一個(gè)對(duì)大量數(shù)據(jù)進(jìn)行分布式處理的軟件架構(gòu),在這個(gè)架構(gòu)下組織的成員HDFS(Hadoop分布式文件系統(tǒng))鲤嫡,MapReduce送挑、 Hbase 、Zookeeper(一個(gè)針對(duì)大型分布式系統(tǒng)的可靠協(xié)調(diào)系統(tǒng))暖眼,hive(基于Hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具)等惕耕。
? ? ? 1.云計(jì)算屬于大數(shù)據(jù)中的大數(shù)據(jù)技術(shù)范疇。
2.云計(jì)算包含大數(shù)據(jù)诫肠。
3.云和大數(shù)據(jù)是兩個(gè)領(lǐng)域司澎。
云計(jì)算是指利用由大量計(jì)算節(jié)點(diǎn)構(gòu)成的可動(dòng)態(tài)調(diào)整的虛擬化計(jì)算資源,通過(guò)并行化和分布式計(jì)算技術(shù)栋豫,實(shí)現(xiàn)業(yè)務(wù)質(zhì)量的可控的大數(shù)據(jù)處理的計(jì)算技術(shù)挤安。而作為云計(jì)算技術(shù)中的佼佼者,Hadoop以其低成本和高效率的特性贏得了市場(chǎng)的認(rèn)可丧鸯。Hadoop項(xiàng)目名稱(chēng)來(lái)源于創(chuàng)立者Doung Cutting兒子的一個(gè)玩具蛤铜,一頭黃色的大象。
Hadoop項(xiàng)目的目標(biāo)是建立一個(gè)可擴(kuò)展開(kāi)源軟件框架丛肢,能夠?qū)Υ髷?shù)據(jù)進(jìn)行可靠的分布式處理围肥。
Hadoop的框架最核心的設(shè)計(jì)就是:HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲(chǔ)蜂怎,則MapReduce為海量的數(shù)據(jù)提供了計(jì)算虐先。HDFS是一個(gè)分布式文件系統(tǒng),具有低成本派敷、高可靠性性蛹批、高吞吐量的特點(diǎn)撰洗。MapReduce是一個(gè)變成模型和軟件框架。
簡(jiǎn)單理解腐芍,Hadoop是一個(gè)開(kāi)源的大數(shù)據(jù)分析軟件差导,或者說(shuō)編程模式。它是通過(guò)分布式的方式處理大數(shù)據(jù)的猪勇,因?yàn)殚_(kāi)元的原因現(xiàn)在很多的企業(yè)或多或少的在運(yùn)用hadoop的技術(shù)來(lái)解決一些大數(shù)據(jù)的問(wèn)題设褐,在數(shù)據(jù)倉(cāng)庫(kù)方面hadoop是非常強(qiáng)大的。但在數(shù)據(jù)集市以及實(shí)時(shí)的分析展現(xiàn)層面泣刹,hadoop也有著明顯的不足助析,現(xiàn)在一個(gè)比較好的解決方案是架設(shè)hadoop的數(shù)據(jù)倉(cāng)庫(kù)而數(shù)據(jù)集市以及實(shí)時(shí)分析展現(xiàn)層面使用永洪科技的大數(shù)據(jù)產(chǎn)品,能夠很好地解決hadoop的分時(shí)間長(zhǎng)以及其他的問(wèn)題椅您。
Hadoop大數(shù)據(jù)技術(shù)案例
讓Hadoop和其他大數(shù)據(jù)技術(shù)如此引人注目的部分原因是外冀,他們讓企業(yè)找到問(wèn)題的答案,而在此之前他們甚至不知道問(wèn)題是什么掀泳。這可能會(huì)產(chǎn)生引出新產(chǎn)品的想法雪隧,或者幫助確定改善運(yùn)營(yíng)效率的方法。不過(guò)员舵,也有一些已經(jīng)明確的大數(shù)據(jù)用例脑沿,無(wú)論是互聯(lián)網(wǎng)巨頭如谷歌,F(xiàn)acebook和LinkedIn還是更多的傳統(tǒng)企業(yè)马僻。它們包括:
情感分析: Hadoop與先進(jìn)的文本分析工具結(jié)合庄拇,分析社會(huì)化媒體和社交網(wǎng)絡(luò)發(fā)布的非結(jié)構(gòu)化的文本,包括Tweets和Facebook韭邓,以確定用戶(hù)對(duì)特定公司丛忆,品牌或產(chǎn)品的情緒。分析既可以專(zhuān)注于宏觀層面的情緒仍秤,也可以細(xì)分到個(gè)人用戶(hù)的情緒熄诡。
風(fēng)險(xiǎn)建模: 財(cái)務(wù)公司、銀行等公司使用Hadoop和下一代數(shù)據(jù)倉(cāng)庫(kù)分析大量交易數(shù)據(jù)诗力,以確定金融資產(chǎn)的風(fēng)險(xiǎn)凰浮,模擬市場(chǎng)行為為潛在的“假設(shè)”方案做準(zhǔn)備,并根據(jù)風(fēng)險(xiǎn)為潛在客戶(hù)打分苇本。
欺詐檢測(cè): 金融公司袜茧、零售商等使用大數(shù)據(jù)技術(shù)將客戶(hù)行為與歷史交易數(shù)據(jù)結(jié)合來(lái)檢測(cè)欺詐行為。例如瓣窄,信用卡公司使用大數(shù)據(jù)技術(shù)識(shí)別可能的被盜卡的交易行為笛厦。
客戶(hù)流失分析: 企業(yè)使用Hadoop和大數(shù)據(jù)技術(shù)分析客戶(hù)行為數(shù)據(jù)并確定分析模型,該模型指出哪些客戶(hù)最有可能流向存在競(jìng)爭(zhēng)關(guān)系的供應(yīng)商或服務(wù)商俺夕。企業(yè)就能采取最有效的措施挽留欲流失客戶(hù)裳凸。
用戶(hù)體驗(yàn)分析: 面向消費(fèi)者的企業(yè)使用Hadoop和其他大數(shù)據(jù)技術(shù)將之前單一 客戶(hù)互動(dòng)渠道(如呼叫中心贱鄙,網(wǎng)上聊天,微博等)數(shù)據(jù)整合在一起姨谷, 以獲得對(duì)客戶(hù)體驗(yàn)的完整視圖逗宁。這使企業(yè)能夠了解客戶(hù)交互渠道之間的相互影響,從而優(yōu)化整個(gè)客戶(hù)生命周期的用戶(hù)體驗(yàn)梦湘。
當(dāng)然瞎颗,上述這些都只是大數(shù)據(jù)用例的舉例。事實(shí)上捌议,在所有企業(yè)中大數(shù)據(jù)最引人注目的用例可能尚未被發(fā)現(xiàn)哼拔。這就是大數(shù)據(jù)的希望。想要了解大數(shù)據(jù)更多的可以到科多大數(shù)據(jù)咨詢(xún)喲~~