Shawn999

Hfile結(jié)構(gòu) 文件主要分為四個(gè)部分：Scanned block section，Non-scanned block section，Opening-time data se...

Shawn999

介紹 HBase是一個(gè)構(gòu)建在HDFS上的分布式列存儲系統(tǒng)； HBase是基于Google BigTable模型開發(fā)的，典型的key/value系統(tǒng)碴倾； HBase是Apache...

Shawn999

hive介紹 Hive通常意義上來說，是把一個(gè)SQL轉(zhuǎn)化成一個(gè)分布式作業(yè)，如MapReduce卑雁，Spark或者Tez。無論Hive的底層執(zhí)行框架是MapReduce绪囱、Spar...

Shawn999

Year的資源管理模型 在實(shí)際系統(tǒng)中测蹲，資源本身是多維度的，包括CPU鬼吵、內(nèi)存扣甲、網(wǎng)絡(luò)I/O和磁盤I/O等，因此齿椅，如果想精確控制資源分配琉挖，不能再有slot的概念，最直接的方法就是是...

Shawn999

參與mapreduce作業(yè)執(zhí)行涉及4個(gè)獨(dú)立的實(shí)體： 客戶端（client）提交MapReduce作業(yè)JobTracker1.作業(yè)調(diào)度：將一個(gè)作業(yè)（Job）分成若干個(gè)子任務(wù)分發(fā)...

Shawn999

HDFS 2.0 的 HA 實(shí)現(xiàn) Active NameNode 和 Standby NameNode：兩臺 NameNode 形成互備涣脚，一臺處于 Active 狀態(tài)示辈，為主 ...

Shawn999

hdfs架構(gòu)設(shè)計(jì) HDFS主要由3個(gè)組件構(gòu)成，分別是NameNode遣蚀、SecondaryNameNode和DataNode矾麻，HSFS是以master/slave模式運(yùn)行的，其...

Shawn999

1.1 簡單介紹 實(shí)時(shí)處理Stream流的能力妙同，有容錯(cuò)性射富，保證性處理機(jī)制。對于輸入數(shù)據(jù)粥帚，支持消息隊(duì)列胰耗，像RabbitMQ, JMS, Kafka等或者傳統(tǒng)的數(shù)據(jù)庫和Hbase...

Shawn999

1.1 讀寫方式 producer 采用 push 模式將消息發(fā)布到 broker芒涡，每條消息都被 append 到 patition 中柴灯，屬于順序?qū)懘疟P（順序?qū)懘疟P效率比隨機(jī)...