大數(shù)據(jù)解析
大數(shù)據(jù)是互聯(lián)網(wǎng)(PC互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)汇在、物聯(lián)網(wǎng)等稱(chēng)之為大聯(lián)網(wǎng))發(fā)展到一定階段的產(chǎn)物翰萨,它本身并不神秘,也不虛幻糕殉,是實(shí)實(shí)在在可以利用得東西亩鬼。想要系統(tǒng)的認(rèn)知大數(shù)據(jù),必須要全面而細(xì)致的分解它阿蝶,從三個(gè)層面可以展開(kāi):
第一層面是理論辛孵,理論是認(rèn)知的必經(jīng)途徑。第二層面是技術(shù)赡磅,技術(shù)是大數(shù)據(jù)價(jià)值體現(xiàn)的手段和前進(jìn)的基石。涉及到云計(jì)算宝与、分布式處理技術(shù)焚廊、存儲(chǔ)技術(shù)和感知技術(shù)等冶匹。第三層面是實(shí)踐,實(shí)踐是大數(shù)據(jù)的最終價(jià)值體現(xiàn)咆瘟〗腊互聯(lián)網(wǎng)大數(shù)據(jù)(網(wǎng)絡(luò)新聞、電子商務(wù)等等)袒餐,政府的大數(shù)據(jù)飞蛹,企業(yè)的大數(shù)據(jù)和個(gè)人的大數(shù)據(jù)。
大數(shù)據(jù)理論
概念特征
概念最早來(lái)自麥肯錫:“數(shù)據(jù)灸眼,已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域卧檐,成為重要的生產(chǎn)因素。人們對(duì)于海量數(shù)據(jù)的挖掘和運(yùn)用焰宣,預(yù)示著新一波生產(chǎn)率增長(zhǎng)和消費(fèi)者盈余浪潮的到來(lái)霉囚。”
IBM將大數(shù)據(jù)的特征歸納為4個(gè)“V”(量Volume匕积,多樣Variety盈罐,價(jià)值Value,速Velocity)闪唆。第一盅粪,數(shù)據(jù)體量巨大。大數(shù)據(jù)的起始計(jì)量單位至少是P(1000個(gè)T)悄蕾、E(100萬(wàn)個(gè)T)或Z(10億個(gè)T)票顾;第二,數(shù)據(jù)類(lèi)型繁多笼吟。比如库物,網(wǎng)絡(luò)日志、視頻贷帮、圖片戚揭、地理位置信息等等。第三撵枢,價(jià)值密度低民晒,商業(yè)價(jià)值高。第四锄禽,處理速度快潜必。最后這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。
大數(shù)據(jù)思維
維克托·邁爾-舍恩伯格:1-需要全部數(shù)據(jù)樣本而不是抽樣沃但;2-關(guān)注效率而不是精確度磁滚;3-關(guān)注相關(guān)性而不是因果關(guān)系。
王堅(jiān)(阿里巴巴):今天的數(shù)據(jù)不是大,真正有意思的是數(shù)據(jù)變得在線(xiàn)了垂攘,這個(gè)恰恰是互聯(lián)網(wǎng)的特點(diǎn)维雇。非互聯(lián)網(wǎng)時(shí)期的產(chǎn)品,功能一定是它的價(jià)值晒他,今天互聯(lián)網(wǎng)的產(chǎn)品吱型,數(shù)據(jù)一定是它的價(jià)值≡山觯“你千萬(wàn)不要想著拿數(shù)據(jù)去改進(jìn)一個(gè)業(yè)務(wù)津滞,這不是大數(shù)據(jù)。你一定是去做了一件以前做不了的事情灼伤。
有人把數(shù)據(jù)比喻為蘊(yùn)藏能量的煤礦触徐。煤炭按照性質(zhì)有焦煤、無(wú)煙煤饺蔑、肥煤锌介、貧煤等分類(lèi),而露天煤礦猾警、深山煤礦的挖掘成本又不一樣孔祸。與此類(lèi)似,大數(shù)據(jù)并不在“大”发皿,而在于“有用”崔慧。價(jià)值含量、挖掘成本比數(shù)量更為重要穴墅。
大數(shù)據(jù)價(jià)值
大數(shù)據(jù)是什么惶室?資產(chǎn)。Facebook上市時(shí)玄货,評(píng)估機(jī)構(gòu)評(píng)定的有效資產(chǎn)中大部分都是其社交網(wǎng)站上的數(shù)據(jù)皇钞。
如果把大數(shù)據(jù)比作一種產(chǎn)業(yè),那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵松捉,在于提高對(duì)數(shù)據(jù)的“加工能力”夹界,通過(guò)“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”。
Target 超市以20多種懷孕期間孕婦可能會(huì)購(gòu)買(mǎi)的商品為基礎(chǔ)隘世,將所有用戶(hù)的購(gòu)買(mǎi)記錄作為數(shù)據(jù)來(lái)源可柿,通過(guò)構(gòu)建模型分析購(gòu)買(mǎi)者的行為相關(guān)性,能準(zhǔn)確的推斷出孕婦的具體臨盆時(shí)間丙者,這樣Target的銷(xiāo)售部門(mén)就可以有針對(duì)的在每個(gè)懷孕顧客的不同階段寄送相應(yīng)的產(chǎn)品優(yōu)惠卷复斥。
從大數(shù)據(jù)的價(jià)值鏈條來(lái)分析,存在三種模式:1- 手握大數(shù)據(jù)械媒,但是沒(méi)有利用好目锭;比較典型的是金融機(jī)構(gòu),電信行業(yè),政府機(jī)構(gòu)等侣集;2- 沒(méi)有數(shù)據(jù)键俱,但是知道如何幫助有數(shù)據(jù)的人利用它;比較典型的是IT咨詢(xún)和服務(wù)企業(yè)世分,比如,埃森哲缀辩,IBM臭埋,Oracle等;3- 既有數(shù)據(jù)臀玄,又有大數(shù)據(jù)思維瓢阴;比較典型的是Google,Amazon健无,Mastercard等荣恐。
未來(lái)在大數(shù)據(jù)領(lǐng)域最具有價(jià)值的是兩種事物:1-擁有大數(shù)據(jù)思維的人,這種人可以將大數(shù)據(jù)的潛在價(jià)值轉(zhuǎn)化為實(shí)際利益累贤;2-還未有被大數(shù)據(jù)觸及過(guò)的業(yè)務(wù)領(lǐng)域叠穆。這些是還未被挖掘的油井,金礦臼膏,是所謂的藍(lán)海硼被。
1948年遼沈戰(zhàn)役期間,司令員林彪要求每天要進(jìn)行例常的“每日軍情匯報(bào)”渗磅,由值班參謀讀出下屬各個(gè)縱隊(duì)嚷硫、師、團(tuán)用電臺(tái)報(bào)告的當(dāng)日戰(zhàn)況和繳獲情況始鱼。那幾乎是重復(fù)著千篇一律枯燥無(wú)味的數(shù)據(jù):每支部隊(duì)殲敵多少仔掸、俘虜多少;繳獲的火炮、車(chē)輛多少医清,槍支起暮、物資多少……有一天,參謀照例匯報(bào)當(dāng)日的戰(zhàn)況状勤,林彪突然打斷他:“剛才念的在胡家窩棚那個(gè)戰(zhàn)斗的繳獲鞋怀,你們聽(tīng)到了嗎?”大家都很茫然,因?yàn)槿绱藨?zhàn)斗每天都有幾十起持搜,不都是差不多一模一樣的枯燥數(shù)字嗎?林彪掃視一周密似,見(jiàn)無(wú)人回答,便接連問(wèn)了三句:“為什么那里繳獲的短槍與長(zhǎng)槍的比例比其它戰(zhàn)斗略高?”“為什么那里繳獲和擊毀的小車(chē)與大車(chē)的比例比其它戰(zhàn)斗略高?”“為什么在那里俘虜和擊斃的軍官與士兵的比例比其它戰(zhàn)斗略高?”林彪司令員大步走向掛滿(mǎn)軍用地圖的墻壁葫盼,指著地圖上的那個(gè)點(diǎn)說(shuō):“我猜想残腌,不,我斷定!敵人的指揮所就在這里!”果然,部隊(duì)很快就抓住了敵方的指揮官廖耀湘抛猫,并取得這場(chǎng)重要戰(zhàn)役的勝利蟆盹。
這些例子真實(shí)的反映在各行各業(yè),探求數(shù)據(jù)價(jià)值取決于把握數(shù)據(jù)的人闺金,關(guān)鍵是人的數(shù)據(jù)思維逾滥;與其說(shuō)是大數(shù)據(jù)創(chuàng)造了價(jià)值,不如說(shuō)是大數(shù)據(jù)思維觸發(fā)了新的價(jià)值增長(zhǎng)败匹。
大數(shù)據(jù)的杰出表現(xiàn)
大數(shù)據(jù)幫助政府實(shí)現(xiàn)市場(chǎng)經(jīng)濟(jì)調(diào)控寨昙、公共衛(wèi)生安全防范、災(zāi)難預(yù)警掀亩、社會(huì)輿論監(jiān)督舔哪;大數(shù)據(jù)幫助城市預(yù)防犯罪,實(shí)現(xiàn)智慧交通槽棍,提升緊急應(yīng)急能力捉蚤;大數(shù)據(jù)幫助醫(yī)療機(jī)構(gòu)建立患者的疾病風(fēng)險(xiǎn)跟蹤機(jī)制,幫助醫(yī)藥企業(yè)提升藥品的臨床使用效果炼七,幫助艾滋病研究機(jī)構(gòu)為患者提供定制的藥物缆巧;大數(shù)據(jù)幫助航空公司節(jié)省運(yùn)營(yíng)成本,幫助電信企業(yè)實(shí)現(xiàn)售后服務(wù)質(zhì)量提升特石,幫助保險(xiǎn)企業(yè)識(shí)別欺詐騙保行為盅蝗,幫助快遞公司監(jiān)測(cè)分析運(yùn)輸車(chē)輛的故障險(xiǎn)情以提前預(yù)警維修,幫助電力公司有效識(shí)別預(yù)警即將發(fā)生故障的設(shè)備姆蘸;大數(shù)據(jù)幫助電商公司向用戶(hù)推薦商品和服務(wù)墩莫,幫助旅游網(wǎng)站為旅游者提供心儀的旅游路線(xiàn),幫助二手市場(chǎng)的買(mǎi)賣(mài)雙方找到最合適的交易目標(biāo)逞敷,幫助用戶(hù)找到最合適的商品購(gòu)買(mǎi)時(shí)期狂秦、商家和最優(yōu)惠價(jià)格;大數(shù)據(jù)幫助企業(yè)提升營(yíng)銷(xiāo)的針對(duì)性推捐,降低物流和庫(kù)存的成本裂问,減少投資的風(fēng)險(xiǎn),以及幫助企業(yè)提升廣告投放精準(zhǔn)度牛柒;大數(shù)據(jù)幫助娛樂(lè)行業(yè)預(yù)測(cè)歌手堪簿,歌曲,電影皮壁,電視劇的受歡迎程度椭更,并為投資者分析評(píng)估拍一部電影需要投入多少錢(qián)才最合適,否則就有可能收不回成本蛾魄;大數(shù)據(jù)幫助社交網(wǎng)站提供更準(zhǔn)確的好友推薦虑瀑,為用戶(hù)提供更精準(zhǔn)的企業(yè)招聘信息湿滓,向用戶(hù)推薦可能喜歡的游戲以及適合購(gòu)買(mǎi)的商品。
再比如舌狗,Amazon的最終期望是:最成功的書(shū)籍推薦應(yīng)該只有一本書(shū)叽奥,就是用戶(hù)要買(mǎi)的下一本書(shū)。Google也希望當(dāng)用戶(hù)在搜索時(shí)痛侍,最好的體驗(yàn)是搜索結(jié)果只包含用戶(hù)所需要的內(nèi)容朝氓,而這并不需要用戶(hù)給予Google太多的提示。
而當(dāng)物聯(lián)網(wǎng)發(fā)展到達(dá)一定規(guī)模時(shí)主届,借助條形碼膀篮、二維碼、RFID等能夠唯一標(biāo)識(shí)產(chǎn)品岂膳,傳感器、可穿戴設(shè)備磅网、智能感知谈截、視頻采集、增強(qiáng)現(xiàn)實(shí)等技術(shù)可實(shí)現(xiàn)實(shí)時(shí)的信息采集和分析涧偷,這些數(shù)據(jù)能夠支撐智慧城市簸喂,智慧交通,智慧能源燎潮,智慧醫(yī)療喻鳄,智慧環(huán)保的理念需要,這些都所謂的智慧將是大數(shù)據(jù)的采集數(shù)據(jù)來(lái)源和服務(wù)范圍确封。
未來(lái)的大數(shù)據(jù)除了將更好的解決社會(huì)問(wèn)題除呵,商業(yè)營(yíng)銷(xiāo)問(wèn)題,科學(xué)技術(shù)問(wèn)題爪喘,還有一個(gè)可預(yù)見(jiàn)的趨勢(shì)是以人為本的大數(shù)據(jù)方針颜曾。人才是地球的主宰,大部分的數(shù)據(jù)都與人類(lèi)有關(guān)秉剑,要通過(guò)大數(shù)據(jù)解決人的問(wèn)題泛豪。
再比如,建立個(gè)人的數(shù)據(jù)中心侦鹏,將每個(gè)人的日常生活習(xí)慣诡曙,身體體征,社會(huì)網(wǎng)絡(luò)略水,知識(shí)能力价卤,愛(ài)好性情,疾病嗜好聚请,情緒波動(dòng)……換言之就是記錄人從出生那一刻起的每一分每一秒荠雕,將除了思維外的一切都儲(chǔ)存下來(lái)稳其,這些數(shù)據(jù)可以被充分的利用:醫(yī)療機(jī)構(gòu)將實(shí)時(shí)的監(jiān)測(cè)用戶(hù)的身體健康狀況;教育機(jī)構(gòu)更有針對(duì)的制定用戶(hù)喜歡的教育培訓(xùn)計(jì)劃炸卑;服務(wù)行業(yè)為用戶(hù)提供即時(shí)健康的符合用戶(hù)生活習(xí)慣的食物和其它服務(wù)既鞠;社交網(wǎng)絡(luò)能為你提供合適的交友對(duì)象,并為志同道合的人群組織各種聚會(huì)活動(dòng)盖文;政府能在用戶(hù)的心理健康出現(xiàn)問(wèn)題時(shí)有效的干預(yù)嘱蛋,防范自殺,刑事案件的發(fā)生五续;金融機(jī)構(gòu)能幫助用戶(hù)進(jìn)行有效的理財(cái)管理洒敏,為用戶(hù)的資金提供更有效的使用建議和規(guī)劃;道路交通疙驾、汽車(chē)租賃及運(yùn)輸行業(yè)可以為用戶(hù)提供更合適的出行線(xiàn)路和路途服務(wù)安排凶伙。
大數(shù)據(jù)隱私
目前,我們的個(gè)人數(shù)據(jù)從不同的地方流向各處它碎,推銷(xiāo)的函荣、詐騙的......比如當(dāng)你在不同的網(wǎng)站上注冊(cè)了個(gè)人信息后,可能這些信息已經(jīng)被擴(kuò)散出去了扳肛,當(dāng)你莫名其妙的接到各種郵件傻挂,電話(huà),短信的滋擾時(shí)挖息,你不會(huì)想到自己的電話(huà)號(hào)碼金拒,郵箱,生日套腹,購(gòu)買(mǎi)記錄绪抛,收入水平,家庭住址沉迹,親朋好友等私人信息早就被各種商業(yè)機(jī)構(gòu)非法存儲(chǔ)或賤賣(mài)給其它任何有需要的企業(yè)或個(gè)人了睦疫。
更可怕的是,這些信息你永遠(yuǎn)無(wú)法刪除鞭呕,它們永遠(yuǎn)存在于互聯(lián)網(wǎng)的某些你不知道的角落蛤育。除非你更換掉自己的所有信息,但是這代價(jià)太大了葫松。
用戶(hù)隱私問(wèn)題一直是大數(shù)據(jù)應(yīng)用難以繞開(kāi)的一個(gè)問(wèn)題瓦糕,如被央視曝光過(guò)的分眾無(wú)線(xiàn)、羅維鄧白氏以及網(wǎng)易郵箱都涉及侵犯用戶(hù)隱私腋么。目前咕娄,中國(guó)并沒(méi)有專(zhuān)門(mén)的法律法規(guī)來(lái)界定用戶(hù)隱私,處理相關(guān)問(wèn)題時(shí)多采用其他相關(guān)法規(guī)條例來(lái)解釋珊擂。但隨著民眾隱私意識(shí)的日益增強(qiáng)圣勒,合法合規(guī)地獲取數(shù)據(jù)费变、分析數(shù)據(jù)和應(yīng)用數(shù)據(jù),是進(jìn)行大數(shù)據(jù)分析時(shí)必須遵循的原則圣贸。
說(shuō)到隱私被侵犯挚歧,愛(ài)德華?斯諾登應(yīng)該占據(jù)一席之地,這位前美國(guó)中央情報(bào)局(CIA)雇員一手引爆了美國(guó)“棱鏡計(jì)劃”(PRISM)的內(nèi)幕消息吁峻』海“棱鏡”項(xiàng)目是一項(xiàng)由美國(guó)國(guó)家安全局(NSA)自2007年起開(kāi)始實(shí)施的絕密電子監(jiān)聽(tīng)計(jì)劃,年耗資近2000億美元用含,用于監(jiān)聽(tīng)全美電話(huà)通話(huà)記錄昭娩,據(jù)稱(chēng)還可以使情報(bào)人員通過(guò)“后門(mén)”進(jìn)入9家主要科技公司的服務(wù)器述雾,包括微軟、雅虎家浇、谷歌滞磺、Facebook翁垂、PalTalk鸯两、美國(guó)在線(xiàn)宣吱、Skype、YouTube明未、蘋(píng)果。這個(gè)事件引發(fā)了人們對(duì)政府使用大數(shù)據(jù)時(shí)對(duì)公民隱私侵犯的擔(dān)心壹蔓。
再看看我們身邊趟妥,當(dāng)微博,微信佣蓉,QQ空間這些社交平臺(tái)肆意的吞噬著數(shù)億用戶(hù)的各種信息時(shí)披摄,你就不要指望你還有隱私權(quán)了,就算你在某個(gè)地方刪除了勇凭,但也許這些信息已經(jīng)被其他人轉(zhuǎn)載或保存了疚膊,更有可能已經(jīng)被百度或Google存為快照,早就提供給任意用戶(hù)搜索了虾标。
因此在大數(shù)據(jù)的背景下寓盗,很多人都在積極的抵制無(wú)底線(xiàn)的數(shù)字化,這種大數(shù)據(jù)和個(gè)體之間的博弈還會(huì)一直繼續(xù)下去……
一般的建議:1-減少信息的數(shù)字化璧函;2-隱私權(quán)立法傀蚌;3-數(shù)字隱私權(quán)基礎(chǔ)設(shè)施(類(lèi)似DRM數(shù)字版權(quán)管理);4-人類(lèi)改變認(rèn)知(接受忽略過(guò)去)蘸吓;5-創(chuàng)造良性的信息生態(tài)善炫;6-語(yǔ)境化。
但是這些都很難立即見(jiàn)效或者有實(shí)質(zhì)性的改善库继。
比如箩艺,現(xiàn)在有一種職業(yè)叫刪帖人窜醉,專(zhuān)門(mén)負(fù)責(zé)幫人到各大網(wǎng)站刪帖,刪除評(píng)論艺谆。其實(shí)這些人就是通過(guò)黑客技術(shù)侵入各大網(wǎng)站榨惰,破獲管理員的密碼然后進(jìn)行手工定向刪除。只不過(guò)他們保護(hù)的不是客戶(hù)的隱私擂涛,而大多是丑聞读串。還有一種職業(yè)叫人肉專(zhuān)家,他們負(fù)責(zé)從互聯(lián)網(wǎng)上找到一個(gè)與他們根本就無(wú)關(guān)系用戶(hù)的任意信息撒妈。這是很可怕的事情恢暖,也就是說(shuō),如果有人想找到你狰右,只需要兩個(gè)條件:1-你上過(guò)網(wǎng)杰捂,留下過(guò)痕跡;2-你的親朋好友或僅僅是認(rèn)識(shí)你的人上過(guò)網(wǎng)棋蚌,留下過(guò)你的痕跡嫁佳。這兩個(gè)條件滿(mǎn)足其一,人肉專(zhuān)家就可以很輕松的找到你谷暮,可能還知道你現(xiàn)在正在某個(gè)餐廳和誰(shuí)一起共進(jìn)晚餐蒿往。
當(dāng)很多互聯(lián)網(wǎng)企業(yè)意識(shí)到隱私對(duì)于用戶(hù)的重要性時(shí),為了繼續(xù)得到用戶(hù)的信任湿弦,他們采取了很多辦法瓤漏,比如google承諾僅保留用戶(hù)的搜索記錄9個(gè)月,瀏覽器廠(chǎng)商提供了無(wú)痕沖浪模式颊埃,社交網(wǎng)站拒絕公共搜索引擎的爬蟲(chóng)進(jìn)入蔬充,并將提供出去的數(shù)據(jù)全部采取匿名方式處理等。
在這種復(fù)雜的環(huán)境里面班利,很多人依然沒(méi)有建立對(duì)于信息隱私的保護(hù)意識(shí)饥漫,讓自己一直處于被滋擾,被精心設(shè)計(jì)罗标,被利用庸队,被監(jiān)視的處境中〈掣睿可是皿哨,我們能做的幾乎微乎其微,因?yàn)閭€(gè)人隱私數(shù)據(jù)已經(jīng)無(wú)法由我們自己掌控了纽谒,就像一首詩(shī)里說(shuō)到的:“如果你現(xiàn)在繼續(xù)麻木证膨,那就別指望這麻木能抵擋得住被”扒光”那一刻的驚恐和絕望……”
大數(shù)據(jù)相關(guān)技術(shù)
云技術(shù):
云計(jì)算思想的起源是麥卡錫在上世紀(jì)60年代提出的:把計(jì)算能力作為一種像水和電一樣的公用事業(yè)提供給用戶(hù)。如今鼓黔,在Google央勒、Amazon不见、Facebook等一批互聯(lián)網(wǎng)企業(yè)引領(lǐng)下,一種行之有效的模式出現(xiàn)了:云計(jì)算提供基礎(chǔ)架構(gòu)平臺(tái)崔步,大數(shù)據(jù)應(yīng)用運(yùn)行在這個(gè)平臺(tái)上稳吮。
兩者的關(guān)系:沒(méi)有大數(shù)據(jù)的信息積淀,則云計(jì)算的計(jì)算能力再?gòu)?qiáng)大井濒,也難以找到用武之地灶似;沒(méi)有云計(jì)算的處理能力,則大數(shù)據(jù)的信息積淀再豐富瑞你,也終究只是鏡花水月酪惭。
那么大數(shù)據(jù)到底需要哪些云計(jì)算技術(shù)呢?比如虛擬化技術(shù)者甲,分布式處理技術(shù)春感,海量數(shù)據(jù)的存儲(chǔ)和管理技術(shù),NoSQL虏缸、實(shí)時(shí)流數(shù)據(jù)處理鲫懒、智能分析技術(shù)(類(lèi)似模式識(shí)別以及自然語(yǔ)言理解)等。
如果將云計(jì)算與大數(shù)據(jù)進(jìn)行一些比較刽辙,最明顯的區(qū)分在兩個(gè)方面:第一窥岩,在概念上兩者有所不同,云計(jì)算改變了IT宰缤,而大數(shù)據(jù)則改變了業(yè)務(wù)谦秧。然而大數(shù)據(jù)必須有云作為基礎(chǔ)架構(gòu)撵溃,才能得以順暢運(yùn)營(yíng)缘挑。第二,大數(shù)據(jù)和云計(jì)算的目標(biāo)受眾不同惶翻,云計(jì)算是CIO等關(guān)心的技術(shù)層,是一個(gè)進(jìn)階的IT解決方案宙暇。而大數(shù)據(jù)是CEO關(guān)注的占贫、是業(yè)務(wù)層的產(chǎn)品,而大數(shù)據(jù)的決策者是業(yè)務(wù)層厢汹。
分布式處理技術(shù):
分布式處理系統(tǒng)可以將不同地點(diǎn)的或具有不同功能的或擁有不同數(shù)據(jù)的多臺(tái)計(jì)算機(jī)用通信網(wǎng)絡(luò)連接起來(lái),在控制系統(tǒng)的統(tǒng)一管理控制下,協(xié)調(diào)地完成信息處理任務(wù)—這就是分布式處理系統(tǒng)的定義设凹。
以Hadoop(Yahoo)為例進(jìn)行說(shuō)明,Hadoop是一個(gè)實(shí)現(xiàn)了MapReduce模式的能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架,是以一種可靠、高效寓免、可伸縮的方式進(jìn)行處理的。
Hadoop用到的一些技術(shù)有:HDFS: Hadoop分布式文件系統(tǒng)(Distributed File System) - HDFS (HadoopDistributed File System);MapReduce:并行計(jì)算框架疾就;HBase: 類(lèi)似Google BigTable的分布式NoSQL列數(shù)據(jù)庫(kù)鸟废;Hive:數(shù)據(jù)倉(cāng)庫(kù)工具,由Facebook貢獻(xiàn)添寺;Zookeeper:分布式鎖設(shè)施,提供類(lèi)似Google Chubby的功能,由Facebook貢獻(xiàn)该押;Avro:新的數(shù)據(jù)序列化格式與傳輸工具梢什,將逐步取代Hadoop原有的IPC機(jī)制囤躁;Pig:大數(shù)據(jù)分析平臺(tái)金度,為用戶(hù)提供多種接口;Ambari:Hadoop管理工具丢胚,可以快捷的監(jiān)控、部署坟桅、管理集群;Sqoop:用于在Hadoop與傳統(tǒng)的數(shù)據(jù)庫(kù)間進(jìn)行數(shù)據(jù)的傳遞。
存儲(chǔ)技術(shù):
大數(shù)據(jù)可以抽象的分為大數(shù)據(jù)存儲(chǔ)和大數(shù)據(jù)分析,這兩者的關(guān)系是:大數(shù)據(jù)存儲(chǔ)的目的是支撐大數(shù)據(jù)分析嘿棘。到目前為止挥吵,還是兩種截然不同的計(jì)算機(jī)技術(shù)領(lǐng)域:大數(shù)據(jù)存儲(chǔ)致力于研發(fā)可以擴(kuò)展至PB甚至EB級(jí)別的數(shù)據(jù)存儲(chǔ)平臺(tái);大數(shù)據(jù)分析關(guān)注在最短時(shí)間內(nèi)處理大量不同類(lèi)型的數(shù)據(jù)集。
Google大約管理著超過(guò)50萬(wàn)臺(tái)服務(wù)器和100萬(wàn)塊硬盤(pán),而且Google還在不斷的擴(kuò)大計(jì)算能力和存儲(chǔ)能力,其中很多的擴(kuò)展都是基于在廉價(jià)服務(wù)器和普通存儲(chǔ)硬盤(pán)的基礎(chǔ)上進(jìn)行的华弓,這大大降低了其服務(wù)成本顶燕,因此可以將更多的資金投入到技術(shù)的研發(fā)當(dāng)中恳谎。
以Amazon舉例,Amazon S3 是一種面向 Internet 的存儲(chǔ)服務(wù)。該服務(wù)旨在讓開(kāi)發(fā)人員能更輕松的進(jìn)行網(wǎng)絡(luò)規(guī)模計(jì)算。Amazon S3 提供一個(gè)簡(jiǎn)明的 Web 服務(wù)界面,用戶(hù)可通過(guò)它隨時(shí)在 Web 上的任何位置存儲(chǔ)和檢索的任意大小的數(shù)據(jù)俄占。 此服務(wù)讓所有開(kāi)發(fā)人員都能訪(fǎng)問(wèn)同一個(gè)具備高擴(kuò)展性、可靠性、安全性和快速價(jià)廉的基礎(chǔ)設(shè)施砾莱,Amazon 用它來(lái)運(yùn)行其全球的網(wǎng)站網(wǎng)絡(luò)闰非。再看看S3的設(shè)計(jì)指標(biāo):在特定年度內(nèi)為數(shù)據(jù)元提供 99.999999999% 的耐久性和 99.99% 的可用性辆毡,并能夠承受兩個(gè)設(shè)施中的數(shù)據(jù)同時(shí)丟失。
感知技術(shù):
大數(shù)據(jù)的采集和感知技術(shù)的發(fā)展是緊密聯(lián)系的期犬。以傳感器技術(shù),指紋識(shí)別技術(shù)棉安,RFID技術(shù)阱冶,坐標(biāo)定位技術(shù)等為基礎(chǔ)的感知能力提升同樣是物聯(lián)網(wǎng)發(fā)展的基石。全世界的工業(yè)設(shè)備木蹬、汽車(chē)至耻、電表上有著無(wú)數(shù)的數(shù)碼傳感器,隨時(shí)測(cè)量和傳遞著有關(guān)位置镊叁、運(yùn)動(dòng)尘颓、震動(dòng)、溫度晦譬、濕度乃至空氣中化學(xué)物質(zhì)的變化疤苹,都會(huì)產(chǎn)生海量的數(shù)據(jù)信息。
而隨著智能手機(jī)的普及敛腌,感知技術(shù)可謂迎來(lái)了發(fā)展的高峰期痰催,除了地理位置信息被廣泛的應(yīng)用外,一些新的感知手段也開(kāi)始登上舞臺(tái)迎瞧,比如夸溶,iPhone在home鍵內(nèi)嵌指紋傳感器,新型手機(jī)可通過(guò)呼氣直接檢測(cè)燃燒脂肪量凶硅,用于手機(jī)的嗅覺(jué)傳感器面世可以監(jiān)測(cè)從空氣污染到危險(xiǎn)的化學(xué)藥品缝裁,微軟正在研發(fā)可感知用戶(hù)當(dāng)前心情智能手機(jī)技術(shù),谷歌眼鏡InSight新技術(shù)可通過(guò)衣著進(jìn)行人物識(shí)別足绅。
除此之外捷绑,還有很多與感知相關(guān)的技術(shù)革新讓我們耳目一新:比如,牙齒傳感器實(shí)時(shí)監(jiān)控口腔活動(dòng)及飲食狀況氢妈,嬰兒穿戴設(shè)備可用大數(shù)據(jù)去養(yǎng)育寶寶粹污,Intel正研發(fā)3D筆記本攝像頭可追蹤眼球讀懂情緒,日本公司開(kāi)發(fā)新型可監(jiān)控用戶(hù)心率的紡織材料首量,業(yè)界正在嘗試將生物測(cè)定技術(shù)引入支付領(lǐng)域等壮吩。
其實(shí),這些感知被逐漸捕獲的過(guò)程就是就世界被數(shù)據(jù)化的過(guò)程加缘,一旦世界被完全數(shù)據(jù)化了鸭叙,那么世界的本質(zhì)也就是信息了。
大數(shù)據(jù)的實(shí)踐
互聯(lián)網(wǎng)的大數(shù)據(jù)
百度擁有兩種類(lèi)型的大數(shù)據(jù):用戶(hù)搜索表征的需求數(shù)據(jù)拣宏;爬蟲(chóng)和阿拉丁獲取的公共web數(shù)據(jù)沈贝。搜索巨頭百度圍繞數(shù)據(jù)而生。它對(duì)網(wǎng)頁(yè)數(shù)據(jù)的爬取勋乾、網(wǎng)頁(yè)內(nèi)容的組織和解析宋下,通過(guò)語(yǔ)義分析對(duì)搜索需求的精準(zhǔn)理解進(jìn)而從海量數(shù)據(jù)中找準(zhǔn)結(jié)果嗡善,以及精準(zhǔn)的搜索引擎關(guān)鍵字廣告,實(shí)質(zhì)上就是一個(gè)數(shù)據(jù)的獲取学歧、組織滤奈、分析和挖掘的過(guò)程。搜索引擎在大數(shù)據(jù)時(shí)代面臨的挑戰(zhàn)有:更多的暗網(wǎng)數(shù)據(jù)撩满;更多的WEB化但是沒(méi)有結(jié)構(gòu)化的數(shù)據(jù);更多的WEB化绅你、結(jié)構(gòu)化但是封閉的數(shù)據(jù)伺帘。
阿里巴巴擁有交易數(shù)據(jù)和信用數(shù)據(jù)。這兩種數(shù)據(jù)更容易變現(xiàn)忌锯,挖掘出商業(yè)價(jià)值伪嫁。除此之外阿里巴巴還通過(guò)投資等方式掌握了部分社交數(shù)據(jù)、移動(dòng)數(shù)據(jù)偶垮。如微博和高德张咳。
騰訊擁有用戶(hù)關(guān)系數(shù)據(jù)和基于此產(chǎn)生的社交數(shù)據(jù)。這些數(shù)據(jù)可以分析人們的生活和行為,從里面挖掘出政治似舵、社會(huì)脚猾、文化、商業(yè)砚哗、健康等領(lǐng)域的信息龙助,甚至預(yù)測(cè)未來(lái)。
在信息技術(shù)更為發(fā)達(dá)的美國(guó)蛛芥,除了行業(yè)知名的類(lèi)似Google提鸟,F(xiàn)acebook外,已經(jīng)涌現(xiàn)了很多大數(shù)據(jù)類(lèi)型的公司仅淑,它們專(zhuān)門(mén)經(jīng)營(yíng)數(shù)據(jù)產(chǎn)品称勋,比如:Metamarkets:這家公司對(duì)Twitter、支付涯竟、簽到和一些與互聯(lián)網(wǎng)相關(guān)的問(wèn)題進(jìn)行了分析赡鲜,為客戶(hù)提供了很好的數(shù)據(jù)分析支持。Tableau:他們的精力主要集中于將海量數(shù)據(jù)以可視化的方式展現(xiàn)出來(lái)庐船。Tableau為數(shù)字媒體提供了一個(gè)新的展示數(shù)據(jù)的方式蝗蛙。他們提供了一個(gè)免費(fèi)工具,任何人在沒(méi)有編程知識(shí)背景的情況下都能制造出數(shù)據(jù)專(zhuān)用圖表醉鳖。這個(gè)軟件還能對(duì)數(shù)據(jù)進(jìn)行分析捡硅,并提供有價(jià)值的建議。ParAccel:他們向美國(guó)執(zhí)法機(jī)構(gòu)提供了數(shù)據(jù)分析盗棵,比如對(duì)15000個(gè)有犯罪前科的人進(jìn)行跟蹤壮韭,從而向執(zhí)法機(jī)構(gòu)提供了參考性較高的犯罪預(yù)測(cè)北发。他們是犯罪的預(yù)言者。QlikTech:QlikTech旗下的Qlikview是一個(gè)商業(yè)智能領(lǐng)域的自主服務(wù)工具喷屋,能夠應(yīng)用于科學(xué)研究和藝術(shù)等領(lǐng)域琳拨。為了幫助開(kāi)發(fā)者對(duì)這些數(shù)據(jù)進(jìn)行分析,QlikTech提供了對(duì)原始數(shù)據(jù)進(jìn)行可視化處理等功能的工具屯曹。GoodData:GoodData希望幫助客戶(hù)從數(shù)據(jù)中挖掘財(cái)富狱庇。這家創(chuàng)業(yè)公司主要面向商業(yè)用戶(hù)和IT企業(yè)高管,提供數(shù)據(jù)存儲(chǔ)恶耽、性能報(bào)告密任、數(shù)據(jù)分析等工具。TellApart:TellApart和電商公司進(jìn)行合作偷俭,他們會(huì)根據(jù)用戶(hù)的瀏覽行為等數(shù)據(jù)進(jìn)行分析浪讳,通過(guò)鎖定潛在買(mǎi)家方式提高電商企業(yè)的收入。DataSift:DataSift主要收集并分析社交網(wǎng)絡(luò)媒體上的數(shù)據(jù)涌萤,并幫助品牌公司掌握突發(fā)新聞的輿論點(diǎn)淹遵,并制定有針對(duì)性的營(yíng)銷(xiāo)方案。這家公司還和Twitter有合作協(xié)議负溪,使得自己變成了行業(yè)中為數(shù)不多可以分析早期tweet的創(chuàng)業(yè)公司透揣。Datahero:公司的目標(biāo)是將復(fù)雜的數(shù)據(jù)變得更加簡(jiǎn)單明了,方便普通人去理解和想象川抡。
在互聯(lián)網(wǎng)大數(shù)據(jù)的典型代表性包括:
1-用戶(hù)行為數(shù)據(jù)(精準(zhǔn)廣告投放淌实、內(nèi)容推薦、行為習(xí)慣和喜好分析猖腕、產(chǎn)品優(yōu)化等)
2-用戶(hù)消費(fèi)數(shù)據(jù)(精準(zhǔn)營(yíng)銷(xiāo)拆祈、信用記錄分析、活動(dòng)促銷(xiāo)倘感、理財(cái)?shù)龋?/p>
3-用戶(hù)地理位置數(shù)據(jù)(O2O推廣放坏,商家推薦,交友推薦等)
4-互聯(lián)網(wǎng)金融數(shù)據(jù)(P2P老玛,小額貸款淤年,支付,信用蜡豹,供應(yīng)鏈金融等)
5-用戶(hù)社交等UGC數(shù)據(jù)(趨勢(shì)分析麸粮、流行元素分析、受歡迎程度分析镜廉、輿論監(jiān)控分析弄诲、社會(huì)問(wèn)題分析等)
政府的大數(shù)據(jù)
奧巴馬政府宣布投資2億美元拉動(dòng)大數(shù)據(jù)相關(guān)產(chǎn)業(yè)發(fā)展,將“大數(shù)據(jù)戰(zhàn)略”上升為國(guó)家意志。奧巴馬政府將數(shù)據(jù)定義為“未來(lái)的新石油”齐遵,并表示一個(gè)國(guó)家擁有數(shù)據(jù)的規(guī)模寂玲、活性及解釋運(yùn)用的能力將成為綜合國(guó)力的重要組成部分,未來(lái)梗摇,對(duì)數(shù)據(jù)的占有和控制甚至將成為陸權(quán)拓哟、海權(quán)、空權(quán)之外的另一種國(guó)家核心資產(chǎn)伶授。
在國(guó)內(nèi)断序,政府各個(gè)部門(mén)都握有構(gòu)成社會(huì)基礎(chǔ)的原始數(shù)據(jù),比如糜烹,氣象數(shù)據(jù)违诗,金融數(shù)據(jù),信用數(shù)據(jù)景图,電力數(shù)據(jù),煤氣數(shù)據(jù)碉哑,自來(lái)水?dāng)?shù)據(jù)挚币,道路交通數(shù)據(jù),客運(yùn)數(shù)據(jù)扣典,安全刑事案件數(shù)據(jù)妆毕,住房數(shù)據(jù),海關(guān)數(shù)據(jù)贮尖,出入境數(shù)據(jù)笛粘,旅游數(shù)據(jù),醫(yī)療數(shù)據(jù)湿硝,教育數(shù)據(jù)薪前,環(huán)保數(shù)據(jù)等等。這些數(shù)據(jù)在每個(gè)政府部門(mén)里面看起來(lái)是單一的关斜,靜態(tài)的示括。但是,如果政府可以將這些數(shù)據(jù)關(guān)聯(lián)起來(lái)痢畜,并對(duì)這些數(shù)據(jù)進(jìn)行有效的關(guān)聯(lián)分析和統(tǒng)一管理垛膝,這些數(shù)據(jù)必定將獲得新生,其價(jià)值是無(wú)法估量的丁稀。
具體來(lái)說(shuō)吼拥,現(xiàn)在城市都在走向智能和智慧,比如线衫,智能電網(wǎng)凿可、智慧交通、智慧醫(yī)療授账、智慧環(huán)保矿酵、智慧城市唬复,這些都依托于大數(shù)據(jù),可以說(shuō)大數(shù)據(jù)是智慧的核心能源全肮。大數(shù)據(jù)為智慧城市的各個(gè)領(lǐng)域提供決策支持敞咧。在城市規(guī)劃方面,通過(guò)對(duì)城市地理辜腺、氣象等自然信息和經(jīng)濟(jì)休建、社會(huì)、文化评疗、人口等人文社會(huì)信息的挖掘测砂,可以為城市規(guī)劃提供決策,強(qiáng)化城市管理服務(wù)的科學(xué)性和前瞻性百匆。在交通管理方面砌些,通過(guò)對(duì)道路交通信息的實(shí)時(shí)挖掘,能有效緩解交通擁堵加匈,并快速響應(yīng)突發(fā)狀況存璃,為城市交通的良性運(yùn)轉(zhuǎn)提供科學(xué)的決策依據(jù)。在輿情監(jiān)控方面雕拼,通過(guò)網(wǎng)絡(luò)關(guān)鍵詞搜索及語(yǔ)義智能分析纵东,能提高輿情分析的及時(shí)性、全面性啥寇,全面掌握社情民意偎球,提高公共服務(wù)能力,應(yīng)對(duì)網(wǎng)絡(luò)突發(fā)的公共事件辑甜,打擊違法犯罪衰絮。在安防與防災(zāi)領(lǐng)域,通過(guò)大數(shù)據(jù)的挖掘磷醋,可以及時(shí)發(fā)現(xiàn)人為或自然災(zāi)害岂傲、恐怖事件,提高應(yīng)急處理能力和安全防范能力子檀。
企業(yè)的大數(shù)據(jù)
企業(yè)的CXO們最關(guān)注的還是報(bào)表曲線(xiàn)的背后能有怎樣的信息镊掖,他該做怎樣的決策,其實(shí)這一切都需要通過(guò)數(shù)據(jù)來(lái)傳遞和支撐褂痰。在理想的世界中亩进,大數(shù)據(jù)是巨大的杠桿,可以改變公司的影響力缩歪,帶來(lái)競(jìng)爭(zhēng)差異归薛、節(jié)省金錢(qián)、增加利潤(rùn)、愉悅買(mǎi)家主籍、獎(jiǎng)賞忠誠(chéng)用戶(hù)习贫、將潛在客戶(hù)轉(zhuǎn)化為客戶(hù)、增加吸引力千元、打敗競(jìng)爭(zhēng)對(duì)手苫昌、開(kāi)拓用戶(hù)群并創(chuàng)造市場(chǎng)。
那么幸海,哪些傳統(tǒng)企業(yè)最需要大數(shù)據(jù)服務(wù)呢祟身?拋磚引玉,先舉幾個(gè)例子:1) 對(duì)大量消費(fèi)者提供產(chǎn)品或服務(wù)的企業(yè)(精準(zhǔn)營(yíng)銷(xiāo))物独;2) 做小而美模式的中長(zhǎng)尾企業(yè)(服務(wù)轉(zhuǎn)型)袜硫;3) 面臨互聯(lián)網(wǎng)壓力之下必須轉(zhuǎn)型的傳統(tǒng)企業(yè)(生死存亡)。
對(duì)于企業(yè)的大數(shù)據(jù)挡篓,還有一種預(yù)測(cè):隨著數(shù)據(jù)逐漸成為企業(yè)的一種資產(chǎn)婉陷,數(shù)據(jù)產(chǎn)業(yè)會(huì)向傳統(tǒng)企業(yè)的供應(yīng)鏈模式發(fā)展,最終形成“數(shù)據(jù)供應(yīng)鏈”官研。這里尤其有兩個(gè)明顯的現(xiàn)象:1) 外部數(shù)據(jù)的重要性日益超過(guò)內(nèi)部數(shù)據(jù)秽澳。在互聯(lián)互通的互聯(lián)網(wǎng)時(shí)代,單一企業(yè)的內(nèi)部數(shù)據(jù)與整個(gè)互聯(lián)網(wǎng)數(shù)據(jù)比較起來(lái)只是滄海一粟阀参;2) 能提供包括數(shù)據(jù)供應(yīng)肝集、數(shù)據(jù)整合與加工瞻坝、數(shù)據(jù)應(yīng)用等多環(huán)節(jié)服務(wù)的公司會(huì)有明顯的綜合競(jìng)爭(zhēng)優(yōu)勢(shì)蛛壳。
對(duì)于提供大數(shù)據(jù)服務(wù)的企業(yè)來(lái)說(shuō),他們等待的是合作機(jī)會(huì)所刀,就像微軟史密斯說(shuō)的:“給我提供一些數(shù)據(jù)衙荐,我就能做一些改變。如果給我提供所有數(shù)據(jù)浮创,我就能拯救世界忧吟。”
個(gè)人的大數(shù)據(jù)
簡(jiǎn)單來(lái)說(shuō)斩披,就是與個(gè)人相關(guān)聯(lián)的各種有價(jià)值數(shù)據(jù)信息被有效采集后溜族,可由本人授權(quán)提供第三方進(jìn)行處理和使用,并獲得第三方提供的數(shù)據(jù)服務(wù)垦沉。
未來(lái)煌抒,每個(gè)用戶(hù)可以在互聯(lián)網(wǎng)上注冊(cè)個(gè)人的數(shù)據(jù)中心,以存儲(chǔ)個(gè)人的大數(shù)據(jù)信息厕倍。用戶(hù)可確定哪些個(gè)人數(shù)據(jù)可被采集寡壮,并通過(guò)可穿戴設(shè)備或植入芯片等感知技術(shù)來(lái)采集捕獲個(gè)人的大數(shù)據(jù),比如,牙齒監(jiān)控?cái)?shù)據(jù)况既,心率數(shù)據(jù)这溅,體溫?cái)?shù)據(jù),視力數(shù)據(jù)棒仍,記憶能力悲靴,地理位置信息,社會(huì)關(guān)系數(shù)據(jù)降狠,運(yùn)動(dòng)數(shù)據(jù)对竣,飲食數(shù)據(jù),購(gòu)物數(shù)據(jù)等等榜配。用戶(hù)可以將其中的牙齒監(jiān)測(cè)數(shù)據(jù)授權(quán)給XX牙科診所使用否纬,由他們監(jiān)控和使用這些數(shù)據(jù),進(jìn)而為用戶(hù)制定有效的牙齒防治和維護(hù)計(jì)劃蛋褥;也可以將個(gè)人的運(yùn)動(dòng)數(shù)據(jù)授權(quán)提供給某運(yùn)動(dòng)健身機(jī)構(gòu)临燃,由他們監(jiān)測(cè)自己的身體運(yùn)動(dòng)機(jī)能,并有針對(duì)的制定和調(diào)整個(gè)人的運(yùn)動(dòng)計(jì)劃烙心;還可以將個(gè)人的消費(fèi)數(shù)據(jù)授權(quán)給金融理財(cái)機(jī)構(gòu)膜廊,由他們幫你制定合理的理財(cái)計(jì)劃并對(duì)收益進(jìn)行預(yù)測(cè)。當(dāng)然淫茵,其中有一部分個(gè)人數(shù)據(jù)是無(wú)需個(gè)人授權(quán)即可提供給國(guó)家相關(guān)部門(mén)進(jìn)行實(shí)時(shí)監(jiān)控的爪瓜,比如罪案預(yù)防監(jiān)控中心可以實(shí)時(shí)的監(jiān)控本地區(qū)每個(gè)人的情緒和心理狀態(tài),以預(yù)防自殺和犯罪的發(fā)生匙瘪。
以個(gè)人為中心的大數(shù)據(jù)有這么一些特性:
1- 數(shù)據(jù)僅留存在個(gè)人中心铆铆,其它第三方機(jī)構(gòu)只被授權(quán)使用(數(shù)據(jù)有一定的使用期限),且必須接受用后即焚的監(jiān)管丹喻。
2- 采集個(gè)人數(shù)據(jù)應(yīng)該明確分類(lèi)薄货,除了國(guó)家立法明確要求接受監(jiān)控的數(shù)據(jù)外,其它類(lèi)型數(shù)據(jù)都由用戶(hù)自己決定是否被采集碍论。
3- 數(shù)據(jù)的使用將只能由用戶(hù)進(jìn)行授權(quán)谅猾,數(shù)據(jù)中心可幫助監(jiān)控個(gè)人數(shù)據(jù)的整個(gè)生命周期。
大數(shù)據(jù)應(yīng)用技術(shù)TOP10
1.Hadoop
Hadoop是穩(wěn)定企業(yè)實(shí)力和其他一切工作的基礎(chǔ)鳍悠。你需要利用YARN税娜,HDFS和Hadoop中的基礎(chǔ)設(shè)施,存儲(chǔ)原始數(shù)據(jù)以及運(yùn)行關(guān)鍵的大數(shù)據(jù)服務(wù)和應(yīng)用程序藏研。
2.Spark
Spark易于使用敬矩,并且支持所有重要的大數(shù)據(jù)語(yǔ)言(Scala,Python遥倦,Java谤绳,R)占锯。同時(shí),Spark還是一個(gè)巨大的生態(tài)系統(tǒng)缩筛,發(fā)展迅速消略,便于支持microbatching/batching/SQL。這是另一個(gè)不費(fèi)腦筋的技術(shù)瞎抛。
3.NiFi
NiFi是NSA工具艺演,它可以用最少的編碼和一個(gè)光滑的UI,提供簡(jiǎn)單的數(shù)據(jù)攝取桐臊、存儲(chǔ)和處理各種來(lái)源數(shù)據(jù)胎撤。這些數(shù)據(jù)的來(lái)源包括社交媒體,JMS伤提,NoSQL,SQL认烁,Rest/JSONFeeds肿男,AMQP,SQS却嗡,F(xiàn)TP舶沛,F(xiàn)lume,ElasticSearch窗价,S3如庭,MongoDB,Splunk撼港,Email坪它,HBase,Hive餐胀,HDFS哟楷,AzureEventHub瘤载,Kafka等等否灾。如果NiFi沒(méi)有你需要的來(lái)源或匯集,你可以為NiFi直接用Java代碼編寫(xiě)自己的處理器鸣奔。NiFi是另一個(gè)推薦選入工具箱中的Apache項(xiàng)目墨技,是大數(shù)據(jù)工具中的瑞士軍刀。
4.ApacheHive2.1
ApacheHive是運(yùn)行在Hadoop之上的永久SQL解決方案挎狸。在ApacheHive2.1最新版本中扣汪,性能和功能上的增強(qiáng)使Hive成功作為SQL大數(shù)據(jù)解決方案留在榜單。
5.Kafka
Kafka是大數(shù)據(jù)系統(tǒng)間進(jìn)行異步锨匆、分布式消息傳遞的選擇崭别,它能夠進(jìn)入大多數(shù)的堆棧冬筒。從Spark到NiFi,到第三方工具茅主,再到Java和Scala舞痰,它很好地維系了系統(tǒng)。Kafka需要在棧中應(yīng)用诀姚。
6.Phoenix-HBase
由于很多公司都在應(yīng)用HBase响牛,也就導(dǎo)致了這個(gè)開(kāi)源項(xiàng)目的數(shù)據(jù)規(guī)模極大。在HDFS支持下赫段,NoSQL能夠很好地集成所有工具呀打。所以,在HBase上額外構(gòu)建的Phoenix成為了NoSQL首選糯笙。這增強(qiáng)了HBase的SQL贬丛、JDBC、OLTP和運(yùn)營(yíng)分析能力给涕。
7.Zeppelin
在使用Hive瘫寝,Spark,SQL稠炬,Shell焕阿,Scala,Python以及許多其他的數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)工具時(shí)首启,Zeppelin是一款便捷暮屡、集成性較高的notebook工具。在易于使用的同時(shí)毅桃,Zeppelin能夠以很好的方式來(lái)探索和查詢(xún)數(shù)據(jù)褒纲。而且這個(gè)工具可以支持多種環(huán)境和功能,用戶(hù)只需要經(jīng)常更新圖表和映射數(shù)據(jù)即可钥飞。
8.SparklingWater
SparklingWater彌補(bǔ)了Spark中MachineLearning和其他工作間的空缺莺掠,提供所有可能用到的機(jī)器學(xué)習(xí)服務(wù)。
9.ApacheBeam
ApacheBeam是一個(gè)用Java編寫(xiě)的統(tǒng)一框架读宙,用于數(shù)據(jù)處理和管道開(kāi)發(fā)彻秆。同時(shí),它也可以支持Spark和Flink结闸。其他的框架很快也會(huì)上線(xiàn)唇兑,用戶(hù)不必再去學(xué)習(xí)太多的框架。
10.StanfordCoreNLP
NaturalLanguageProcessing目前應(yīng)用極廣且增長(zhǎng)迅速桦锄,StanfordCoreNLP也在不斷地提高他們的框架性能扎附。
來(lái)源:圖情家