上一篇：086-BigData-14MapReduce實(shí)戰(zhàn)
一鞍历、概述
學(xué)習(xí)只是知道乌询，而使用才是學(xué)會呀打。
這是一個實(shí)踐性很強(qiáng)的內(nèi)容矢赁，理論再好很有可能是空中樓閣，實(shí)踐起來完全不會贬丛×靡或者遇到問題完全無法解決。
理論學(xué)起來快豺憔，但也忘得快额获。實(shí)踐寫代碼才是真正費(fèi)時的。
二恭应、應(yīng)該實(shí)踐內(nèi)容
1抄邀、軟件安裝，裝多了就有種一通百通的感覺昼榛。再加上收集一些軟件安裝包境肾。源頭也解決了就沒啥大問題了。
2胆屿、能裝VMWare虛擬機(jī)奥喻，能裝Linux操作系統(tǒng)，起碼得照著資料裝幾臺非迹，然后再不看任何資料自己能裝好环鲤。
里面涉及到網(wǎng)卡配置，一些命令行使用憎兽，重啟網(wǎng)卡冷离，配置路徑，重啟服務(wù)纯命，關(guān)閉防火墻等等酒朵。
不實(shí)踐基本等于不會。
3扎附、Linux常用命令使用
這是個長期使用問題蔫耽，起碼要熟悉大部分常用的命令。
其實(shí)留夜，只是聽說命令行強(qiáng)大的話匙铡，完全沒有任何感覺，自己體會不到啊碍粥，所以學(xué)起來比學(xué)英語還難鳖眼。
在工作中，遇到翻譯文件需要翻譯嚼摩，打開excel钦讳，拷貝矿瘦，寫進(jìn)去，保存愿卒。word打開缚去，拷貝，保存琼开，檢查等等易结。而一個sed命令，就完美搞定柜候。文件都不用打開就可以完成所有操作搞动，而且執(zhí)行效率高的爽爆了。用cat查看內(nèi)容渣刷，要查找就grep鹦肿，要修改就sed。完全接觸不到垃圾的辦公軟件辅柴，不用漫長的等待打開箩溃，不用操作超級卡的界面，不用怕意外經(jīng)常還得保存一下碌识。所有一切碾篡，命令行能輕松搞定虱而。只有真切體會到其中的厲害之處筏餐，才會愛上命令行，才會記得牢牡拇。
本人也是多個實(shí)際案例魁瞪，現(xiàn)在已經(jīng)完全愛上命令行了，也比較深刻知道其強(qiáng)大的地方了惠呼。
手動拷貝或者刪除后綴.xx的文件导俘？ 用ls列出所有，然后find找到.xx或者grep都行剔蹋，要cp或者delete都行旅薄。要遞歸還能加r。
長期有意識多用命令行泣崩，工作生活效率大大提高少梁。
4、hadoop環(huán)境搭建
這個其實(shí)就是解壓安裝包出來矫付。
但又涉及到環(huán)境配置凯沪，環(huán)境變量等一些問題不大但又需要知道的地方。
參考文章：078-BigData-06hadoop架構(gòu)及環(huán)境搭建
5买优、hadoop偽分布式和分布式
環(huán)境好了之后妨马，必須得實(shí)踐的就是配一下分布式挺举。
如果不熟悉可以先搞個簡單的偽分布式玩玩熟悉下。
然后再搞大于3臺的分布式烘跺。
最坑點(diǎn)莫過于各種配置了湘纵，各種xml配置文件里需要特定的配置，而內(nèi)容要背下來還真心容易液荸，還怕犯錯瞻佛。所以需要專門準(zhǔn)備一個小本本記下來各種配置該怎么配。
參考文章：079-BigData-07hadoop偽分布式和分布式
6娇钱、maven的安裝和配置
這是打通開發(fā)環(huán)境和Linux的通道伤柄。也是開發(fā)hadoop所需。
本人試過win和mac文搂，不難但還是有必要操作一下适刀。
7、HDFS上傳與下載
這算是正頭戲的第一餐了煤蹭。
上傳笔喉，下載，查看硝皂，刪除都用命令行試試常挚，再用代碼試試。第一餐稽物。
8奄毡、HDFS運(yùn)行狀態(tài)下擴(kuò)展集群
這個可以算工作中用得到的第一餐吧。環(huán)境搭建很難遇到完全沒有贝或，需要我們?nèi)念^搞起的吼过。但擴(kuò)展集群，被我們遇到還需要操作的可能性就大多了咪奖。
這個實(shí)踐下盗忱，再順帶練練回收站，快照(又是各種xml配置惡心)羊赵，掉線參數(shù)設(shè)置趟佃？集群間數(shù)據(jù)拷貝，歸檔昧捷，Hadoop HDFS 數(shù)據(jù)自動平衡等闲昭。一套真心走下來，還真是不易的料身。也需要較多時間汤纸。
參考文章：083-BigData-11HDFS目錄結(jié)構(gòu)
9、自己寫一個WordCount理解下MapReduce
這就是功能性第一餐了芹血。
簡單功能實(shí)現(xiàn)后贮泞，還有一大波操作楞慈。
功能自定義分區(qū)，序列化啃擦，模型建立等囊蓝，太重要了，得放在大點(diǎn)寫令蛉。見下面聚霜。
參考理論文章：084-BigData-12MapReduce入門
10、真珠叔。實(shí)戰(zhàn)蝎宇。倒序排序，二次排序祷安，自定義分組姥芥，輔助排序。
遇到排序問題汇鞭，可迅速參考凉唐。
11、壓縮和解壓縮霍骄。mapjoin台囱，reducejoin。
選哪種壓縮读整，綜合考慮等簿训。
作為優(yōu)化項，算是比較重要的一個優(yōu)化點(diǎn)绘沉。
12煎楣、倒排索引豺总。多job串聯(lián)车伞。
重要實(shí)戰(zhàn)。
13喻喳、找共同好友另玖。
有意思的練習(xí)和實(shí)戰(zhàn)。
14表伦、自定義InputFormat谦去，把很多小文件合并成大sequence文件，用數(shù)據(jù)流形式蹦哼。
難度開始起來了鳄哭。
15、自定義OutPutFormat纲熏。過濾日志文件妆丘。自定義日志輸出路徑锄俄。
16、然后就是看看源碼勺拣，性能優(yōu)化了奶赠。做幾個工作項目。
17药有、搭建一下ZooKeeper環(huán)境及配置好毅戈。
18、再練一下秒殺愤惰。和搭建高可用苇经。
