奉先

1. 日志文件加載案例： 需求描述：在日志文件目錄中嗅骄，按天建文件夾，并且在每個天文件夾中饼疙，每小時有一個日志文件溺森。程序自動每天將這些文件load到hive表對應(yīng)的天分區(qū)的小時分...

牛肉圓粉不加蔥

歡迎關(guān)注我的微信公眾號：FunnyBigData 在《Spark 內(nèi)存管理的前世今生（上）》中，我們介紹了 UnifiedMemoryManager 是如何管理內(nèi)存的窑眯。然而屏积，...

奉先

1. mapreduce程序介紹： mapreduce是Google提出的一種計算框架“跛Γ框架處理key炊林、value對；數(shù)據(jù)處理過程中數(shù)據(jù)流向格式卷要。 mapreduce程序開發(fā)...

林海暢游

ORC是RCfile的優(yōu)化版本 1. 關(guān)于hive的文件格式 TEXTFILE默認(rèn)格式渣聚，建表時不指定默認(rèn)為這個格式，導(dǎo)入數(shù)據(jù)時會直接把數(shù)據(jù)文件拷貝到hdfs上不進(jìn)行處理僧叉。源文...

柴詩雨

“麒麟出沒奕枝，必有祥瑞∑慷椋”—— 中國古諺語 前言 隨著移動互聯(lián)網(wǎng)隘道、物聯(lián)網(wǎng)等技術(shù)的發(fā)展，近些年人類所積累的數(shù)據(jù)正在呈爆炸式的增長郎笆，大數(shù)據(jù)時代已經(jīng)來臨谭梗。但是海量數(shù)據(jù)的收集只是大數(shù)據(jù)...