如果您的Hadoop項(xiàng)目將有新的突破，那么它必定與下邊介紹的七種常見(jiàn)項(xiàng)目很相像伊佃。有一句古老的格言是這樣說(shuō)的窜司，如果你向某人提供你的全部支持和金融支持去做一些不同的和創(chuàng)新的事情，他們最終卻會(huì)做別人正在做的事情航揉。如比較火爆的Hadoop塞祈、Spark和Storm，每個(gè)人都認(rèn)為他們正在做一些與這些新的大數(shù)據(jù)技術(shù)相關(guān)的事情帅涂，但它不需要很長(zhǎng)的時(shí)間遇到相同的模式议薪。具體的實(shí)施可能有所不同，但根據(jù)我的經(jīng)驗(yàn)媳友，它們是最常見(jiàn)的七種項(xiàng)目斯议。
項(xiàng)目一：數(shù)據(jù)整合
稱之為“企業(yè)級(jí)數(shù)據(jù)中心”或“數(shù)據(jù)湖”，這個(gè)想法是你有不同的數(shù)據(jù)源醇锚，你想對(duì)它們進(jìn)行數(shù)據(jù)分析哼御。這類項(xiàng)目包括從所有來(lái)源獲得數(shù)據(jù)源(實(shí)時(shí)或批處理)并且把它們存儲(chǔ)在hadoop中。有時(shí)焊唬，這是成為一個(gè)“數(shù)據(jù)驅(qū)動(dòng)的公司”的第一步恋昼；有時(shí)，或許你僅僅需要一份漂亮的報(bào)告赶促∫杭。“企業(yè)級(jí)數(shù)據(jù)中心”通常由HDFS文件系統(tǒng)和HIVE或IMPALA中的表組成。未來(lái)鸥滨，HBase和Phoenix在大數(shù)據(jù)整合方面將大展拳腳嗦哆，打開(kāi)一個(gè)新的局面，創(chuàng)建出全新的數(shù)據(jù)美麗新世界爵赵。
銷售人員喜歡說(shuō)“讀模式”吝秕，但事實(shí)上泊脐，要取得成功空幻，你必須清楚的了解自己的用例將是什么(Hive模式不會(huì)看起來(lái)與你在企業(yè)數(shù)據(jù)倉(cāng)庫(kù)中所做的不一樣)。真實(shí)的原因是一個(gè)數(shù)據(jù)湖比Teradata和Netezza公司有更強(qiáng)的水平擴(kuò)展性和低得多的成本容客。許多人在做前端分析時(shí)使用Tabelu和Excel秕铛。許多復(fù)雜的公司以“數(shù)據(jù)科學(xué)家”用Zeppelin或IPython筆記本作為前端约郁。
項(xiàng)目二：專業(yè)分析
許多數(shù)據(jù)整合項(xiàng)目實(shí)際上是從你特殊的需求和某一數(shù)據(jù)集系統(tǒng)的分析開(kāi)始的。這些往往是令人難以置信的特定領(lǐng)域但两，如在銀行領(lǐng)域的流動(dòng)性風(fēng)險(xiǎn)/蒙特卡羅模擬分析鬓梅。在過(guò)去，這種專業(yè)的分析依賴于過(guò)時(shí)的谨湘，專有的軟件包绽快，無(wú)法擴(kuò)大數(shù)據(jù)的規(guī)模經(jīng)常遭受一個(gè)有限的功能集(大部分是因?yàn)檐浖S商不可能像專業(yè)機(jī)構(gòu)那樣了解的那么多)。
在Hadoop和Spark的世界紧阔，看看這些系統(tǒng)大致相同的數(shù)據(jù)整合系統(tǒng)坊罢，但往往有更多的HBase，定制非SQL代碼擅耽，和更少的數(shù)據(jù)來(lái)源(如果不是唯一的)活孩。他們?cè)絹?lái)越多地以Spark為基礎(chǔ)。
項(xiàng)目三：Hadoop作為一種服務(wù)
在“專業(yè)分析”項(xiàng)目的任何大型組織(諷刺的是乖仇，一個(gè)或兩個(gè)“數(shù)據(jù)整理”項(xiàng)目)他們會(huì)不可避免地開(kāi)始感覺(jué)“快樂(lè)”(即憾儒，疼痛)管理幾個(gè)不同配置的Hadoop集群，有時(shí)從不同的供應(yīng)商乃沙。接下來(lái)起趾，他們會(huì)說(shuō)，“也許我們應(yīng)該整合這些資源池警儒，”而不是大部分時(shí)間讓大部分節(jié)點(diǎn)處于資源閑置狀態(tài)阳掐。它們應(yīng)該組成云計(jì)算，但許多公司經(jīng)常會(huì)因?yàn)榘踩脑?內(nèi)部政治和工作保護(hù))不能或不會(huì)冷蚂。這通常意味著很多Docker容器包缭保。
我沒(méi)有使用它，但最近Bluedata(藍(lán)色數(shù)據(jù)國(guó)際中心)似乎有一個(gè)解決方案蝙茶，這也會(huì)吸引小企業(yè)缺乏足夠的資金來(lái)部署Hadoop作為一種服務(wù)艺骂。
項(xiàng)目四：流分析
很多人會(huì)把這個(gè)“流”，但流分析是不同的隆夯，從設(shè)備流钳恕。通常，流分析是一個(gè)組織在批處理中的實(shí)時(shí)版本蹄衷。以反洗錢和欺詐檢測(cè)：為什么不在交易的基礎(chǔ)上忧额，抓住它發(fā)生而不是在一個(gè)周期結(jié)束?同樣的庫(kù)存管理或其他任何。
在某些情況下愧口，這是一種新的類型的交易系統(tǒng)睦番，分析數(shù)據(jù)位的位，因?yàn)槟銓⑺⒙?lián)到一個(gè)分析系統(tǒng)中。這些系統(tǒng)證明自己如Spark或Storm與Hbase作為常用的數(shù)據(jù)存儲(chǔ)托嚣。請(qǐng)注意巩检，流分析并不能取代所有形式的分析，對(duì)某些你從未考慮過(guò)的事情而言示启，你仍然希望分析歷史趨勢(shì)或看過(guò)去的數(shù)據(jù)兢哭。
項(xiàng)目五：復(fù)雜事件處理
在這里，我們談?wù)摰氖莵喢爰?jí)的實(shí)時(shí)事件處理夫嗓。雖然還沒(méi)有足夠快的超低延遲(皮秒或納秒)的應(yīng)用迟螺，如高端的交易系統(tǒng)，你可以期待毫秒響應(yīng)時(shí)間舍咖。例子包括對(duì)事物或事件的互聯(lián)網(wǎng)電信運(yùn)營(yíng)商處理的呼叫數(shù)據(jù)記錄的實(shí)時(shí)評(píng)價(jià)煮仇。有時(shí)，你會(huì)看到這樣的系統(tǒng)使用Spark和HBase——但他們一般落在他們的臉上谎仲，必須轉(zhuǎn)換成Storm浙垫，這是基于由LMAX交易所開(kāi)發(fā)的干擾模式。
在過(guò)去郑诺，這樣的系統(tǒng)已經(jīng)基于定制的消息或高性能夹姥，從貨架上，客戶端-服務(wù)器消息產(chǎn)品-但今天的數(shù)據(jù)量太多了辙诞。我還沒(méi)有使用它辙售，但Apex項(xiàng)目看起來(lái)很有前途，聲稱要比Storm快飞涂。
項(xiàng)目六：ETL流
有時(shí)你想捕捉流數(shù)據(jù)并把它們存儲(chǔ)起來(lái)旦部。這些項(xiàng)目通常與1號(hào)或2號(hào)重合，但增加了各自的范圍和特點(diǎn)较店。(有些人認(rèn)為他們是4號(hào)或5號(hào)士八，但他們實(shí)際上是在向磁盤傾倒和分析數(shù)據(jù)。)梁呈，這些幾乎都是Kafka和Storm項(xiàng)目婚度。Spark也使用，但沒(méi)有理由官卡，因?yàn)槟悴恍枰趦?nèi)存分析蝗茁。
在此我向大家推薦一個(gè)大數(shù)據(jù)開(kāi)發(fā)交流圈：658558542? ? （?點(diǎn)擊即可加入群聊）里面整理了一大份學(xué)習(xí)資料，全都是些干貨寻咒，包括大數(shù)據(jù)技術(shù)入門哮翘，大數(shù)據(jù)離線處理、數(shù)據(jù)實(shí)時(shí)處理毛秘、Hadoop 饭寺、Spark、Flink、推薦系統(tǒng)算法以及源碼解析等佩研，送給每一位大數(shù)據(jù)小伙伴，讓自學(xué)更輕松霞揉。這里不止是小白聚集地旬薯，還有大牛在線解答！歡迎初學(xué)和進(jìn)階中的小伙伴一起進(jìn)群學(xué)習(xí)交流适秩，共同進(jìn)步绊序！
項(xiàng)目七：更換或增加SAS
SAS是精細(xì)，是好的但SAS也很貴秽荞，我們不需要為你的數(shù)據(jù)科學(xué)家和分析師買存儲(chǔ)你就可以“玩”數(shù)據(jù)骤公。此外，除SAS可以做或產(chǎn)生漂亮的圖形分析外扬跋，你還可以做一些不同的事情阶捆。這是你的“數(shù)據(jù)湖”。這里是IPython筆記本(現(xiàn)在)和Zeppelin(以后)钦听。我們用SAS存儲(chǔ)結(jié)果洒试。
當(dāng)我每天看到其他不同類型的Hadoop，Spark朴上，或Storm項(xiàng)目垒棋，這些都是正常的。如果你使用Hadoop痪宰，你可能了解它們叼架。幾年前我已經(jīng)實(shí)施了這些項(xiàng)目中的部分案例，使用的是其它技術(shù)衣撬。
如果你是一個(gè)老前輩太害怕“大”或“做”大數(shù)據(jù)Hadoop乖订，不要擔(dān)心。事情越變?cè)蕉嗑吡罚举|(zhì)保持不變垢粮。你會(huì)發(fā)現(xiàn)很多相似之處的東西你用來(lái)部署和時(shí)髦的技術(shù)都是圍繞Hadooposphere旋轉(zhuǎn)的。
