19篇文章 · 39705字 · 4人關(guān)注
-
17. Apache Kafka1. Kafka重要概念和技術(shù)架構(gòu)： 1.實(shí)時(shí)數(shù)據(jù)分析中的Kakfa 在實(shí)時(shí)數(shù)據(jù)分析應(yīng)用篓叶，Kafka的位置非常重要烈掠。首先通過(guò)Flume將Ngin...
-
19. Storm Topology開(kāi)發(fā)
一. wordCount Topology開(kāi)發(fā)： 1.spout數(shù)據(jù)收集器（SentenceSpout類）： 有兩種方法來(lái)開(kāi)發(fā)spout類，第...
-
18. Storm基礎(chǔ)1. Storm介紹： Storm是實(shí)時(shí)流計(jì)算框架缸托。企業(yè)中典型實(shí)時(shí)分析框架搭建模式： Flume + Kafka + Storm + Hbase...
-
16. HBase高級(jí)應(yīng)用1. HBase存儲(chǔ)中的3個(gè)核心機(jī)制 1.flush機(jī)制：當(dāng)MemStore達(dá)到閾值之后左敌，會(huì)flush成一個(gè)StoreFile （也就是內(nèi)存中的...
-
15.HBase基礎(chǔ)1. HBase介紹，Hbase是什么俐镐？ HBase -- Hadoop Database 矫限，是一個(gè)高可靠、高性能、面向列叼风、可伸縮的分布式存儲(chǔ)系...
-
重要記錄
CDH版本下載地址：http://archive.cloudera.com/cdh5/cdh/5/
-
13. Oozie介紹1. Hadoop常見(jiàn)調(diào)度框架： （1）Linux Crontab：Linux自帶的任務(wù)調(diào)度計(jì)劃取董，在任務(wù)比較少的情況下，可以使用這種方式无宿，直接執(zhí)...
-
12.Flume介紹1. Flume簡(jiǎn)介 Apache Flume是一個(gè)分布式的茵汰、可靠的、可用的孽鸡，從多種不同的源收集蹂午、聚集、移動(dòng)大量日志數(shù)據(jù)到集中數(shù)據(jù)存儲(chǔ)的系統(tǒng)彬碱。 ...
-
11.Hive壓縮豆胸，文件格式及優(yōu)化1. 日志文件加載案例： 需求描述：在日志文件目錄中，按天建文件夾巷疼，并且在每個(gè)天文件夾中晚胡，每小時(shí)有一個(gè)日志文件。程序自動(dòng)每天將這些文件load到...
