發(fā)簡信
IP屬地：北京
-
Hadoop權(quán)威指南-ch5 MapReduce應(yīng)用開發(fā)
注：本文涉及書中5.1~5.7小結(jié) MapReduce編程流程 step1. 首先寫map函數(shù)和reduce函數(shù)，并使用單元測試來確保函數(shù)的運(yùn)行...
-
Hadoop權(quán)威指南-ch4 Hadoop的I/O(4)文件的數(shù)據(jù)結(jié)構(gòu)注：本文涉及書中4.5小結(jié) 基于文件的數(shù)據(jù)結(jié)構(gòu) 有兩種文件格式： 1. SequenceFile 2. MapFile · SequenceFi...
-
Hadoop權(quán)威指南-ch4 Hadoop的I/O(3) Avro
注：本文涉及書中4.4小結(jié) 數(shù)據(jù)序列化系統(tǒng)Avro Apache Avro是一個(gè)獨(dú)立于編程語言的數(shù)據(jù)序列化系統(tǒng)懊纳，旨在解決Hadoop中Writa...
-
Hadoop權(quán)威指南-ch4 Hadoop的I/O(3) 序列化
注：本文涉及書中4.3小結(jié) 序列化與反序列化 1. 定義 序列化（serialization）：將結(jié)構(gòu)化對(duì)象轉(zhuǎn)化為字節(jié)流掰读。 反序列化（deser...
-
Hadoop權(quán)威指南-ch4 Hadoop的I/O(2)
注：本文涉及書中4.2小結(jié) 文件壓縮 好處：減少存儲(chǔ)文件的磁盤空間，加速網(wǎng)絡(luò)和磁盤的數(shù)據(jù)傳輸躺屁。 所有的壓縮方法都要權(quán)衡空間/時(shí)間肯夏，也就是說，壓縮...
-
Hadoop權(quán)威指南-ch4 Hadoop的I/O(1)
注：本文涉及書中4.1小結(jié) 數(shù)據(jù)完整性 1. HDFS的完整性檢測 檢測數(shù)據(jù)損壞的方法：計(jì)算校驗(yàn)和犀暑。 以下情況HDFS會(huì)檢測數(shù)據(jù)的完整性： （1...
-
Hadoop權(quán)威指南第三版-中文-ch3 (6)Hadoop存檔
注：本文涉及書中3.9小結(jié) Hadoop存檔 1. 綜述 Hadoop存檔文件或HAR文件驯击，是一個(gè)高效的文件存檔工具，它將文件存入HDFS塊耐亏，在...
-
Hadoop權(quán)威指南-ch3 HDFS（5）
注：本文涉及書中3.7~3.8小結(jié) 使用現(xiàn)成的工具將數(shù)據(jù)導(dǎo)入HDFS中 可以使用現(xiàn)成的工具徊都，如Flume和Sqoop，而非寫程序來將數(shù)據(jù)導(dǎo)入HD...
-
Hadoop權(quán)威指南-ch3 HDFS（4）注：本文涉及書中3.6小結(jié) 數(shù)據(jù)流 1. 文件讀取 結(jié)合上圖广辰，客戶端通過調(diào)用FileSystem對(duì)象的open()方法來打開希望讀取的文件 st...