注：本文涉及書中5.1~5.7小結(jié) MapReduce編程流程 step1. 首先寫map函數(shù)和reduce函數(shù)，并使用單元測試來確保函數(shù)的運行符合預(yù)期。 step2. 寫一...
發(fā)簡信
IP屬地：北京
-
Hadoop權(quán)威指南-ch5 MapReduce應(yīng)用開發(fā)
-
零基礎(chǔ)入門Java后臺SSM框架大家好驮配，我是帥氣小伙鹤啡，好久沒更新了盾舌，因為實在沒用新的知識和大家分享了淮菠，最近剛剛走向?qū)嵙?xí)崗位爹耗，開始接觸Java后臺這個領(lǐng)域奔滑，經(jīng)過這3天的學(xué)習(xí)艾岂，基本上對Spring+Spring...
-
Hadoop權(quán)威指南-ch4 Hadoop的I/O(4)文件的數(shù)據(jù)結(jié)構(gòu)注：本文涉及書中4.5小結(jié) 基于文件的數(shù)據(jù)結(jié)構(gòu) 有兩種文件格式： 1. SequenceFile 2. MapFile · SequenceFile SequenceFile...
-
Hadoop權(quán)威指南-ch4 Hadoop的I/O(3) Avro
注：本文涉及書中4.4小結(jié) 數(shù)據(jù)序列化系統(tǒng)Avro Apache Avro是一個獨立于編程語言的數(shù)據(jù)序列化系統(tǒng)，旨在解決Hadoop中Writable類型缺乏語言的可移植性問...
-
Hadoop權(quán)威指南-ch4 Hadoop的I/O(3) 序列化
注：本文涉及書中4.3小結(jié) 序列化與反序列化 1. 定義 序列化（serialization）：將結(jié)構(gòu)化對象轉(zhuǎn)化為字節(jié)流朋其。 反序列化（deserialization）：將字節(jié)...
-
Hadoop權(quán)威指南-ch4 Hadoop的I/O(2)
注：本文涉及書中4.2小結(jié) 文件壓縮 好處：減少存儲文件的磁盤空間王浴，加速網(wǎng)絡(luò)和磁盤的數(shù)據(jù)傳輸。 所有的壓縮方法都要權(quán)衡空間/時間梅猿，也就是說氓辣，壓縮和解壓的速度越快，節(jié)約的空間越...
-
Hadoop權(quán)威指南-ch4 Hadoop的I/O(1)
注：本文涉及書中4.1小結(jié) 數(shù)據(jù)完整性 1. HDFS的完整性檢測 檢測數(shù)據(jù)損壞的方法：計算校驗和粒没。 以下情況HDFS會檢測數(shù)據(jù)的完整性： （1）HDFS會對寫入的所有數(shù)據(jù)計...
-
Hadoop權(quán)威指南第三版-中文-ch3 (6)Hadoop存檔
注：本文涉及書中3.9小結(jié) Hadoop存檔 1. 綜述 Hadoop存檔文件或HAR文件筛婉，是一個高效的文件存檔工具，它將文件存入HDFS塊癞松，在減少namenode內(nèi)存使用的...
-
Hadoop權(quán)威指南-ch3 HDFS（5）
注：本文涉及書中3.7~3.8小結(jié) 使用現(xiàn)成的工具將數(shù)據(jù)導(dǎo)入HDFS中 可以使用現(xiàn)成的工具爽撒，如Flume和Sqoop，而非寫程序來將數(shù)據(jù)導(dǎo)入HDFS中响蓉。 1. Apache ...
-
Hadoop權(quán)威指南-ch3 HDFS（4）注：本文涉及書中3.6小結(jié) 數(shù)據(jù)流 1. 文件讀取 結(jié)合上圖硕勿，客戶端通過調(diào)用FileSystem對象的open()方法來打開希望讀取的文件 step1. Distribute...
-
Hadoop權(quán)威指南-ch3（2） Hadoop文件系統(tǒng)注：本文涉及書中3.4~小結(jié) Hadoop的文件系統(tǒng) Hadoop有很多文件系統(tǒng)，HDFS只是其中的一個枫甲。Java抽象類org.apache.hadoop.fs.FileSy...
-
Hadoop權(quán)威指南-ch3 HDFS（2）注：本文涉及書中3.3小結(jié) 命令行接口 書中3.3小節(jié)給出了命令行交互HDFS的過程：首先介紹了偽分布式下運行HDFS源武，然后介紹了集群中運行HDFS。 1. 偽分布式環(huán)境 兩...
-
Hadoop權(quán)威指南-ch3 HDFS（1）
注：本文涉及書中3.1~3.2小結(jié) 1. HDFS的特點 1. HDFS以流式數(shù)據(jù)訪問模式來存儲超大文件想幻，運行于商用硬件集群上粱栖。 何為“流式數(shù)據(jù)訪問”？脏毯？闹究？ 答：HDFS的構(gòu)...
-
Hadoop權(quán)威指南-ch2 MapReduce（2）注：本文涉及書中2.4~2.6小結(jié) 橫向擴展（scaling out） 橫向擴展，即將數(shù)據(jù)存儲在分布式文件系統(tǒng)中食店，一般為HDFS渣淤，由此允許Hadoop將MapReduce計算...
-
Hadoop權(quán)威指南-ch2 MapReduce（1）
注：本文涉及書中2.1~2.3小結(jié) 1. MapReduce任務(wù)過程：map和reduce MapReduce任務(wù)過程分為兩個處理階段：map階段和reduce階段赏寇。每個階段...
-
Hadoop部署方式
· 前言 沒有任何大數(shù)據(jù)的基礎(chǔ)，想在自己的筆記本上嘗試搭建一下Hadoop · 言歸正傳 Hadoop的部署方式有三種价认，分別是： （1）本地模式 a. 默認(rèn)情況下嗅定，Hadoo...
-
Hadoop權(quán)威指南-ch1概要0. 寫在最前 某乎的高票答案，《Hadoop權(quán)威指南》是Hadoop入門的必備書籍用踩，目前該書的最新版為第四版渠退，但只有英文版，還沒有中譯版捶箱，為了加快閱讀速度智什，我選擇了第三版的...
-
第一章 進入Java的世界
Java的編譯和運行過程 step1. 編寫源文件（.java） step2. 編譯器編譯.java晨川，產(chǎn)生類文件（.class文件） step3. 啟動Java虛擬機（JVM...