發(fā)簡(jiǎn)信
IP屬地：廣西
-
Spark
Spark core 一谷丸、 spark是一個(gè)分布式同通用計(jì)算框架逗嫡，可用于離線大數(shù)據(jù)處理相种、實(shí)時(shí)流計(jì)算颅和、交互式計(jì)算、圖計(jì)算等卵凑，集成了SparkSQL...
-
kafka原理及主要流程+FlumeKafka 一叉趣、Kafka是一個(gè)分布式消息隊(duì)列系統(tǒng)，以集群方式存在锐借。 優(yōu)點(diǎn)：高吞吐率（每秒百萬(wàn)級(jí)）问麸；基于多分區(qū)多副本實(shí)現(xiàn)高容錯(cuò)，并發(fā)能力強(qiáng)钞翔；易擴(kuò)...
-
Hive一严卖、基本原理 Hive是基于Hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具，可以將結(jié)構(gòu)化數(shù)據(jù)文件映射成一張表布轿，并提供類似SQL的查詢功能哮笆。Hive適用于大數(shù)據(jù)離...
-
Hadoop生態(tài)圈中的調(diào)度組件-YARN一、YARN：Hadoop集群中的同一資源調(diào)度系統(tǒng)汰扭。Hadoop2.0后引入稠肘，主要功能有：負(fù)責(zé)集群中資源的統(tǒng)一調(diào)度，響應(yīng)客戶端的請(qǐng)求萝毛。 優(yōu)缺點(diǎn) ...
-
HDFS
一项阴、HDFS：hadoop分布式文件存儲(chǔ)系統(tǒng)。 優(yōu)點(diǎn)： 1. 基于多副本存儲(chǔ)笆包，實(shí)現(xiàn)高容錯(cuò) 2. 適合大數(shù)據(jù)離線批處理环揽，移動(dòng)計(jì)算，不移動(dòng)數(shù)據(jù)庵佣，將數(shù)...
-
zookeeper搭建
ZK歉胶，分布式應(yīng)用間的協(xié)調(diào)調(diào)度機(jī)制，監(jiān)聽和管理分布式服務(wù)器間的連接秧了。 一跨扮、 zk的數(shù)據(jù)結(jié)構(gòu)——znode 每個(gè)Znode由3部分組成 :stat：...