2019大數(shù)據(jù)處理必備的十大工具,從Linux到架構(gòu)師必修

大數(shù)據(jù)的日益增長送火,給企業(yè)管理大量的數(shù)據(jù)帶來了挑戰(zhàn)的同時也帶來了一些機(jī)遇联贩。下面是用于信息化管理的大數(shù)據(jù)工具列表:

1.ApacheHive

Hive是一個建立在hadoop上的開源數(shù)據(jù)倉庫基礎(chǔ)設(shè)施,通過Hive可以很容易的進(jìn)行數(shù)據(jù)的ETL泊碑,對數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理坤按,并對Hadoop上大數(shù)據(jù)文件進(jìn)行查詢和處理等。Hive提供了一種簡單的類似SQL的查詢語言—HiveQL,這為熟悉SQL語言的用戶查詢數(shù)據(jù)提供了方便馒过。

2JaspersoftBI套件

Jaspersoft包是一個通過數(shù)據(jù)庫列生成報表的開源軟件臭脓。行業(yè)領(lǐng)導(dǎo)者發(fā)現(xiàn)Jaspersoft軟件是一流的,許多企業(yè)已經(jīng)使用它來將SQL表轉(zhuǎn)化為pdf,這使每個人都可以在會議上對其進(jìn)行審議腹忽。另外来累,JasperReports提供了一個連接配置單元來替代HBase。

3.1010data

1010data創(chuàng)立于2000年窘奏,是一個總部設(shè)在紐約的分析型云服務(wù)佃扼,旨在為華爾街的客戶提供服務(wù),甚至包括NYSEEuronext蔼夜、游戲和電信的客戶兼耀。它在設(shè)計上支持可伸縮性的大規(guī)模并行處理。它也有它自己的查詢語言,支持SQL函數(shù)和廣泛的查詢類型,包括圖和時間序列分析瘤运。這個私有云的方法減少了客戶在基礎(chǔ)設(shè)施管理和擴(kuò)展方面的壓力窍霞。

4.Actian

Actian之前的名字叫做IngresCorp,它擁有超過一萬客戶而且正在擴(kuò)增拯坟。它通過Vectorwise以及對ParAccel實現(xiàn)了擴(kuò)展但金。這些發(fā)展分別導(dǎo)致了ActianVector和ActianMatrix的創(chuàng)建。它有Apache郁季,Cloudera冷溃,Hortonworks以及其他發(fā)行版本可供選擇。

5.PentahoBusinessAnalytics

從某種意義上說梦裂,Pentaho與Jaspersoft相比起來似枕,盡管Pentaho開始于報告生成引擎,但它目前通過簡化新來源中獲取信息的過程來支持大數(shù)據(jù)處理年柠。Pentaho的工具可以連接到NoSQL數(shù)據(jù)庫凿歼,例如MongoDB和Cassandra。PeterWayner指出冗恨,PentahoData(一個更有趣的圖形編程界面工具)有很多內(nèi)置模塊答憔,你可以把它們拖放到一個圖片上,然后將它們連接起來。

6.KarmasphereStudioandAnalyst

KarsmasphereStudio是一組構(gòu)建在Eclipse上的插件掀抹,它是一個更易于創(chuàng)建和運行Hadoop任務(wù)的專用IDE虐拓。在配置一個Hadoop工作時,Karmasphere工具將引導(dǎo)您完成每個步驟并顯示部分結(jié)果傲武。當(dāng)出現(xiàn)所有數(shù)據(jù)處于同一個Hadoop集群的情況時侯嘀,KarmaspehereAnalyst旨在簡化篩選的過程。

7.Cloudera

Cloudera正在努力為開源Hadoop谱轨,提供支持戒幔,同時將數(shù)據(jù)處理框架延伸到一個全面的“企業(yè)數(shù)據(jù)中心”范疇,這個數(shù)據(jù)中心可以作為首選目標(biāo)和管理企業(yè)所有數(shù)據(jù)的中心點土童。Hadoop可以作為目標(biāo)數(shù)據(jù)倉庫诗茎,高效的數(shù)據(jù)平臺,或現(xiàn)有數(shù)據(jù)倉庫的ETL來源献汗。企業(yè)規(guī)母叶可以用作集成Hadoop與傳統(tǒng)數(shù)據(jù)倉庫的基礎(chǔ)。Cloudera致力于成為數(shù)據(jù)管理的“重心”罢吃。

8.HPVerticaAnalyticsPlatformVersion7

HP提供了用于加載Hadoop軟件發(fā)行版所需的參考硬件配置楚午,因為它本身并沒有自己的Hadoop版本。計算機(jī)行業(yè)領(lǐng)袖將其大數(shù)據(jù)平臺架構(gòu)命名為HAVEn(意為Hadoop,Autonomy,Vertica,EnterpriseSecurityand“n”applications)尿招》瘢惠普在Vertica7版本中增加了一個“FlexZone”阱驾,允許用戶在定義數(shù)據(jù)庫方案以及相關(guān)分析、報告之前探索大型數(shù)據(jù)集中的數(shù)據(jù)怪蔑。這個版本通過使用HCatalog作為元數(shù)據(jù)存儲里覆,與Hadoop集成后為用戶提供了一種探索HDFS數(shù)據(jù)表格視圖的方法。

9.TalendOpenStudio

Talend’s工具用于協(xié)助進(jìn)行數(shù)據(jù)質(zhì)量缆瓣、數(shù)據(jù)集成和數(shù)據(jù)管理等方面工作喧枷。Talend是一個統(tǒng)一的平臺,它通過提供一個統(tǒng)一的弓坞,跨企業(yè)邊界生命周期管理的環(huán)境隧甚,使數(shù)據(jù)管理和應(yīng)用更簡單便捷。這種設(shè)計可以幫助企業(yè)構(gòu)建靈活渡冻、高性能的企業(yè)架構(gòu)戚扳,在次架構(gòu)下,集成并啟用百分之百開源服務(wù)的分布式應(yīng)用程序變?yōu)榭赡堋?/p>

10.ApacheSpark

ApacheSpark是Hadoop開源生態(tài)系統(tǒng)的新成員菩帝。它提供了一個比Hive更快的查詢引擎,因為它依賴于自己的數(shù)據(jù)處理框架而不是依靠Hadoop的HDFS服務(wù)茬腿。同時呼奢,它還用于事件流處理、實時查詢和機(jī)器學(xué)習(xí)等方面切平。

我自己是一個從事了6年的Java全棧工程師握础,最近整理了一套適合2019年學(xué)習(xí)的Java\大數(shù)據(jù)資料,從基礎(chǔ)的Java悴品、大數(shù)據(jù)面向?qū)ο蟮竭M(jìn)階的框架知識

都有整理哦禀综,可以來我的主頁免費領(lǐng)取哦。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末苔严,一起剝皮案震驚了整個濱河市定枷,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌届氢,老刑警劉巖欠窒,帶你破解...
    沈念sama閱讀 219,427評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異退子,居然都是意外死亡岖妄,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,551評論 3 395
  • 文/潘曉璐 我一進(jìn)店門寂祥,熙熙樓的掌柜王于貴愁眉苦臉地迎上來荐虐,“玉大人,你說我怎么就攤上這事丸凭「Q铮” “怎么了腕铸?”我有些...
    開封第一講書人閱讀 165,747評論 0 356
  • 文/不壞的土叔 我叫張陵,是天一觀的道長忧换。 經(jīng)常有香客問我恬惯,道長,這世上最難降的妖魔是什么亚茬? 我笑而不...
    開封第一講書人閱讀 58,939評論 1 295
  • 正文 為了忘掉前任酪耳,我火速辦了婚禮,結(jié)果婚禮上刹缝,老公的妹妹穿的比我還像新娘碗暗。我一直安慰自己,他們只是感情好梢夯,可當(dāng)我...
    茶點故事閱讀 67,955評論 6 392
  • 文/花漫 我一把揭開白布言疗。 她就那樣靜靜地躺著,像睡著了一般颂砸。 火紅的嫁衣襯著肌膚如雪噪奄。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,737評論 1 305
  • 那天人乓,我揣著相機(jī)與錄音勤篮,去河邊找鬼。 笑死色罚,一個胖子當(dāng)著我的面吹牛碰缔,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播戳护,決...
    沈念sama閱讀 40,448評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼金抡,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了腌且?” 一聲冷哼從身側(cè)響起梗肝,我...
    開封第一講書人閱讀 39,352評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎铺董,沒想到半個月后统捶,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,834評論 1 317
  • 正文 獨居荒郊野嶺守林人離奇死亡柄粹,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,992評論 3 338
  • 正文 我和宋清朗相戀三年喘鸟,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片驻右。...
    茶點故事閱讀 40,133評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡什黑,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出堪夭,到底是詐尸還是另有隱情愕把,我是刑警寧澤拣凹,帶...
    沈念sama閱讀 35,815評論 5 346
  • 正文 年R本政府宣布,位于F島的核電站恨豁,受9級特大地震影響嚣镜,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜橘蜜,卻給世界環(huán)境...
    茶點故事閱讀 41,477評論 3 331
  • 文/蒙蒙 一菊匿、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧计福,春花似錦跌捆、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,022評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至说订,卻和暖如春抄瓦,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背陶冷。 一陣腳步聲響...
    開封第一講書人閱讀 33,147評論 1 272
  • 我被黑心中介騙來泰國打工钙姊, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人埃叭。 一個月前我還...
    沈念sama閱讀 48,398評論 3 373
  • 正文 我出身青樓摸恍,卻偏偏與公主長得像悉罕,于是被迫代替她去往敵國和親赤屋。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,077評論 2 355

推薦閱讀更多精彩內(nèi)容