創(chuàng)始人:DougCutting 道格合呐≡壹梗卡丁
起源于Nutch(開源網(wǎng)絡(luò)搜索引擎)
鋪墊:谷歌兩篇論文1.GFS(分布式文件系統(tǒng)) 2.MapReduce
定義:開源的軟件平臺(tái),開源的軟件框架
Hadoop優(yōu)勢(shì)
?數(shù)據(jù)存儲(chǔ):數(shù)據(jù)塊多副本
?數(shù)據(jù)計(jì)算:重新調(diào)度計(jì)算
?擴(kuò)展性
?降低成本
Hadoop目前作用:
搜索引擎 百度拳氢,谷歌
大數(shù)據(jù)存儲(chǔ) 云存儲(chǔ)
大數(shù)據(jù)研究 數(shù)據(jù)分析 數(shù)據(jù)挖掘
科學(xué)研究 Strom Spark Flink
hadoop生態(tài)系統(tǒng)
hdfs 分布式文件系統(tǒng)
yarn 資源管理調(diào)度系統(tǒng)
MapReduce 分布式計(jì)算框架
storm 流式處理框架(實(shí)時(shí))
spark 基于內(nèi)存的計(jì)算框架
hbase實(shí)時(shí)分布式數(shù)據(jù)庫(kù)
Hive關(guān)系式數(shù)據(jù)庫(kù)
Pig腳本語(yǔ)言(過(guò)程)
Solr搜索