零基礎(chǔ)學(xué)習(xí)hadoop,沒有想象的那么困難，也沒有想象的那么容易床未。在剛接觸云計(jì)算竭翠，曾經(jīng)想過培訓(xùn)，但是培訓(xùn)機(jī)構(gòu)的選擇就讓我很糾結(jié)薇搁。所以索性就自己學(xué)習(xí)了斋扰。整個過程整理一下，給大家參考只酥，歡迎討論，共同學(xué)習(xí)呀狼。
從一開始什么都不懂裂允，到能夠搭建集群，開發(fā)哥艇。整個過程绝编，只要有Linux基礎(chǔ)，虛擬機(jī)化和java基礎(chǔ)貌踏，其實(shí)hadoop,沒有太大的困難十饥。
首先整體說一下學(xué)習(xí)過程給大家借鑒：
首先查閱了資料，什么是hadoop祖乳，至于這方面逗堵，你可以參考這個帖子hadoop新手學(xué)習(xí)指導(dǎo)。對這個有了整體的認(rèn)識之后開始下面內(nèi)容眷昆。(新手請務(wù)必參考hadoop新手學(xué)習(xí)指導(dǎo)蜒秤，否則后面可能看不懂)
我們知道hadoop，有單機(jī)安裝亚斋，偽分布安裝和分布安裝作媚。
同時hadoop的環(huán)境是Linux，所以我們還需要安裝Linux系統(tǒng)帅刊。因?yàn)槲覀兊牧?xí)慣是使用windows纸泡，所以對于Linux上來就安裝軟件之類的，困難度很大赖瞒。并且我們要搭建集群女揭，需要多臺硬件的，不可能為了搭建集群栏饮，去買三臺電腦田绑。
從成本和使用我們需要懂虛擬化方面的知識。這里的虛擬化其實(shí)就是我們需要懂得虛擬機(jī)的使用抡爹。因?yàn)閔adoop安裝在Linux中掩驱，才能真正發(fā)揮作用。所以我們也不會使用windows。
(這里補(bǔ)充硬件的選擇:最關(guān)鍵的是內(nèi)存欧穴，2G內(nèi)存是有點(diǎn)卡的,4G有點(diǎn)勉強(qiáng)的,8G用起來順暢)
基于以上內(nèi)容民逼。所以我們需要懂得
1.虛擬化
2.Linux
3.java基礎(chǔ)
下面來詳細(xì)介紹
1.虛擬化
剛開始學(xué)習(xí)，上來就安裝了虛擬機(jī)wmware station,然后創(chuàng)建虛擬機(jī)涮帘，安裝Linux拼苍。但是問題來了。虛擬機(jī)的網(wǎng)絡(luò)難住调缨，因?yàn)槿狈@方面的知識疮鲫，所以不得不停下來，學(xué)習(xí)虛擬機(jī)的網(wǎng)絡(luò)弦叶，該怎么搞俊犯。虛擬機(jī)網(wǎng)絡(luò)分為三種：
1.briage
2.host-only
3.nat
這不是很簡單的嗎？網(wǎng)上資料也不少伤哺⊙嘞溃可是事情并沒有想象的那么簡單，因?yàn)閚at雖然能上網(wǎng)立莉，但是虛擬系統(tǒng)無法和本局域網(wǎng)中的其他真實(shí)主機(jī)進(jìn)行通訊绢彤。橋接模式全都需要手工配置，而且這里還需要明白自己是本機(jī)撥號上網(wǎng)蜓耻，還是路由撥號上網(wǎng)茫舶。host-only創(chuàng)建一個與網(wǎng)內(nèi)其他機(jī)器相隔離的虛擬系統(tǒng)，這個更不行刹淌。這些都不適合我們的hadoop集群奇适。hadoop要求主機(jī)與虛擬機(jī)與外部網(wǎng)絡(luò)（能上網(wǎng)），這三者都是通的芦鳍，在安裝的過程中嚷往，才不會遇到麻煩。
所以這就是虛擬化方面的困難柠衅。
下面總結(jié)了在虛擬化方面需要做的：
此文章讓你明白為什么虛擬化皮仁，虛擬化的價值
虛擬機(jī)入門二，虛擬機(jī)的三種網(wǎng)絡(luò)模式
詳細(xì)介紹了虛擬化三種網(wǎng)絡(luò)模式
上面了解三種網(wǎng)絡(luò)模式菲宴，這三種網(wǎng)絡(luò)模式該如何才能上網(wǎng)贷祈。
對于上面你可能了解的還不夠，下面咱們論壇會員具體實(shí)踐指導(dǎo)喝峦，可以與他們相互交流：
集群搭建：主機(jī)寬帶撥號上網(wǎng)势誊，虛擬機(jī)使用橋接模式，該如何ping通外網(wǎng)
集群搭建必備：虛擬機(jī)之一實(shí)現(xiàn)Host-only方式上網(wǎng)
集群搭建必備：nat模式設(shè)置靜態(tài)ip谣蠢，達(dá)到上網(wǎng)與主機(jī)相互通信
上面是三種不同網(wǎng)絡(luò)模式下粟耻，如何達(dá)到查近，虛擬機(jī)，主機(jī)挤忙，網(wǎng)絡(luò)三者互通霜威。
上面的知識具備了我們開始動手：
第一步：下載軟件
VMware Workstation 10.0.0簡體中文正式版官方下載地址
ubuntu-desktop 版：是圖形界面
ubuntu-12.04-desktop-amd64
鏈接:?http://pan.baidu.com/s/1eQxHLFO?密碼: nnkv?
新手指導(dǎo)windows使用虛擬機(jī)安裝Linux（ubuntu）：包括下載及安裝指導(dǎo)
上面的帖子很齊全，包括wmware下載Linux桌面版下載册烈。還有安裝指導(dǎo)戈泼，包括下面需要講解的Linux安裝指導(dǎo)
第二步：
下載我們就需要安裝和使用
VMware workstation安裝linux（ubuntu）配置詳解
在這里我們安裝完畢虛擬機(jī)，安裝完畢Linux赏僧，我們需要返回第一步大猛，進(jìn)行網(wǎng)絡(luò)設(shè)置。但是在網(wǎng)絡(luò)設(shè)置中淀零，我們會遇到各種各樣的困難挽绩，因?yàn)槿狈inux知識。
同時這里補(bǔ)充一些虛擬化的基礎(chǔ)知識：
VMware虛擬機(jī)網(wǎng)絡(luò)設(shè)置方法
虛擬機(jī)（Linux操作系統(tǒng)）三種網(wǎng)絡(luò)模式切換遇到的問題
虛擬機(jī)安裝Linux視頻
2.Linux
2.1窑滞、Linux基礎(chǔ)知識
對于Linux的學(xué)習(xí)也是一個過程琼牧，因?yàn)榭赡苣氵B最簡單的開機(jī)和關(guān)機(jī)命令都不會恢筝，更不要談配置網(wǎng)絡(luò)哀卫。這里面給大家提供剛開始學(xué)習(xí)所查閱的資料和經(jīng)驗(yàn)總結(jié)。
首先我們需要使用一些命令撬槽，進(jìn)行網(wǎng)絡(luò)配置此改，但是在網(wǎng)絡(luò)配置中，這里面又必須懂得虛擬機(jī)的一些知識侄柔，所以前面的虛擬機(jī)知識需要掌握扎實(shí)一些共啃。
對于網(wǎng)絡(luò)配置：
集群搭建：主機(jī)寬帶撥號上網(wǎng)，虛擬機(jī)使用橋接模式暂题，該如何ping通外網(wǎng)
集群搭建必備：虛擬機(jī)之一實(shí)現(xiàn)Host-only方式上網(wǎng)
集群搭建必備：nat模式設(shè)置靜態(tài)ip移剪，達(dá)到上網(wǎng)與主機(jī)相互通信
其實(shí)還是上面三個，但是我們會遇到各種不會的命令薪者，即使能查到命令纵苛，我們也不能使用。為什么會這樣言津，因?yàn)楦鞣N有的命令攻人，是需要使用安裝包的。我們在配置網(wǎng)絡(luò)過程中悬槽，同樣會遇到各種各樣的奇怪的配置怀吻。在我們的Linux的系統(tǒng)，不能找到文件初婆。這里只舉ubuntu蓬坡。網(wǎng)絡(luò)配置文件/etc/network/interfaces猿棉。我們配置完畢之后，有各種網(wǎng)絡(luò)重啟方式：
/etc/init.d/networking??restart
復(fù)制代碼
這是一種網(wǎng)絡(luò)重啟方式渣窜，但是有時候并不管用铺根。
那么這時候我們遇到困難了，剛接觸命令不起作用乔宿，該怎么辦位迂？
ifconfig eth0 down
復(fù)制代碼
ifconfig eth0 up
復(fù)制代碼
(這里同樣需要明白，我這里使用的是eth0上網(wǎng)的详瑞，如果你使用的是eth1掂林，就需要替換成eth1)
上面的兩個命令能達(dá)到同樣的效果。
在舉一例：
我們需要配置網(wǎng)絡(luò)文件坝橡，在很多網(wǎng)絡(luò)配置是使用下面的命令的
vim /etc/network/interfaces
復(fù)制代碼
但是我們看到下面錯誤
The program vim can be found in the following package:
vim
vim -gnome
vim-tiny
vim-gtk
vim-nox
Try:sudo apt-get install
復(fù)制代碼
這和我們看到的配置完全不一樣泻帮。這是因?yàn)槲覀儼惭bLinux之后，并沒有安裝vim包计寇。所以我們又遇到了困難锣杂。如果你熟悉Linux的話，這個根本不是問題番宁。
vi /etc/network/interfaces
復(fù)制代碼
上面命令迎刃而解元莫。一個vim，一個vi蝶押。在我們剛接觸這些肯定云里霧里踱蠢，所以你需要首先有成就感，然后在慢慢接觸棋电。下面都是經(jīng)過實(shí)踐的內(nèi)容茎截，也算是經(jīng)驗(yàn)，大家可以參考赶盔。
云技術(shù)基礎(chǔ)：學(xué)習(xí)hadoop使用零基礎(chǔ)linux(Ubuntu)筆記
搭建集群必知：Linux常用命令及修改文件總結(jié)（不斷更新）? ??
Linux網(wǎng)絡(luò)接口ifconfig命令及認(rèn)識網(wǎng)絡(luò)接口lo
虛擬機(jī)安裝linux網(wǎng)絡(luò)配置資料大全
解決遇到Linux網(wǎng)絡(luò)配置企锌，從熟悉網(wǎng)絡(luò)配置文件入手（大體了解即可）
linux入門大全：包括零基礎(chǔ)入門，Linux詳細(xì)介紹
Linux重啟方式init 0 init1 init 3 init 5 init 6 這幾個啟動級別都代表什么意思于未？
Ubuntu常用命令總結(jié)及修改DNS的多種方法總結(jié)
Linux關(guān)機(jī)各種關(guān)機(jī)命令總結(jié)
Linux基礎(chǔ)必懂：eth0,eth1,eth2,lo是什么意思撕攒？
此篇文章幫助認(rèn)識網(wǎng)卡，判斷網(wǎng)卡是否啟動沉眶，對于網(wǎng)絡(luò)的也算是常識打却。
--------------------------------------------------------------------------------------------------------------------------------------------
這是了解你所處路徑的,起到輔助的作用。
此篇文章較為關(guān)鍵谎倔，因?yàn)榻?jīng)常用到柳击，而且需要熟悉
編輯模式
命令模式
如何保存，如何退出等各種操作
熟悉他的作用就是能夠查看軟件安裝是否成功
2.1片习、Linux安裝hadoop
上面切記浮躁捌肴，因?yàn)檫@也是上面一到兩個月的總結(jié)蹬叭。我們不可能一天兩天就能完成。所以上面需要我們經(jīng)過最起碼完全一周的時間状知。我們熟悉了Linux命令秽五，熟悉了網(wǎng)絡(luò)知識。后面我們進(jìn)行的快多了饥悴。
部署集群坦喘，首先需要安裝java，然后安裝hadoop西设。
首先我們還是從零基礎(chǔ)開始瓣铣。
我們需要下載和本地電腦相匹配的jdk，是32位的下載32位贷揽，是64位的下載64位棠笑。這里我們從最簡單的入手。在這過程中禽绪，可能遇到問題的是環(huán)境變量的配置蓖救，造成命令不能識別。而這里你需要學(xué)習(xí)新的Linux知識印屁。不過如果前面你已經(jīng)配置完網(wǎng)絡(luò)循捺，有了這個基礎(chǔ)，在學(xué)習(xí)新的知識库车，壓力明顯變小了巨柒。
下面給大家分享一下樱拴，在Linux中如何安裝Java和hadoop柠衍。
（hadoop2搭建參考hadoop2.2完全分布式最新高可靠安裝文檔
）
Hadoop安裝過程：Hadoop單機(jī)環(huán)境搭建權(quán)威指南（ubuntu）?
安裝完畢，我們該怎么用晶乔，該怎么測試安裝成功珍坊。
集群安裝完畢，該如何測試和使用集群-hadoop單機(jī)
通過上面帖子正罢，我們很容易安裝完成阵漏，如果是剛熟悉Linux，需要補(bǔ)充下面知識翻具，才能順利完成履怯。
linux(ubuntu)安裝Java jdk環(huán)境變量設(shè)置及小程序測試
今天在寫點(diǎn)內(nèi)容，以上咱們已經(jīng)會安裝集群了裆泳，那么我們就需要進(jìn)入開發(fā)了叹洲。開發(fā)零基礎(chǔ)，該如何工禾，咱們提供了相關(guān)的內(nèi)容分別介紹下面文章
學(xué)習(xí)hadoop----java零基礎(chǔ)學(xué)習(xí)線路指導(dǎo)視頻(1)
這一篇我們使用什么開發(fā)工具运提，甚至考慮使用什么操作系統(tǒng)蝗柔。然后就是Java基礎(chǔ)知識篇，包括變量民泵、函數(shù)等癣丧。
學(xué)習(xí)hadoop---Java初級快讀入門指導(dǎo)（2）
第一篇是屬于思想篇，那么這一篇屬于實(shí)戰(zhàn)篇栈妆，通過不同的方式胁编，交給你怎么編寫第一個小程序。
Java零基礎(chǔ)：一步步教你如何使用eclipse創(chuàng)建項(xiàng)目及編寫小程序?qū)嵗?/a>
由于上面沒有真正抽象出eclipse的使用鳞尔，所以這里專門介紹了使用eclipse如何創(chuàng)建項(xiàng)目掏呼，及如何編寫小程序?qū)嵗?/p>
eclipse基本知識會了之后，我們在項(xiàng)目铅檩，這些技巧相當(dāng)有用憎夷，而且經(jīng)常用到
hadoop開發(fā)方式總結(jié)及操作指導(dǎo)
這是第三篇，我們上面熟悉之后昧旨，就可以開發(fā)hadoop拾给。但是因?yàn)閔adoop是屬于分布式，所以如果對Java越是熟悉兔沃，可能產(chǎn)生的問題就會越多蒋得。這里總結(jié)了hadoop的開發(fā)方式。
在此我向大家推薦一個大數(shù)據(jù)學(xué)習(xí)交流群710219868： 里面會分享一些資 深大數(shù)據(jù)工程師架構(gòu)師錄制的視頻錄像 數(shù)據(jù)開發(fā)師必備的知識體系乒疏。還能領(lǐng)取免費(fèi)的學(xué)習(xí)資源额衙。注意 學(xué)習(xí)編號 填寫八月哦！怕吴！
