Hadoop學(xué)習(xí)-安裝

一务唐、hadoop介紹及其環(huán)境介紹

1.1 Hadoop簡介

Hadoop是Apache軟件基金會(huì)旗下的一個(gè)開源分布式計(jì)算平臺(tái)。以Hadoop分布式文件系統(tǒng)（HDFS又兵，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的開源實(shí)現(xiàn)）為核心的Hadoop為用戶提供了系統(tǒng)底層細(xì)節(jié)透明的分布式基礎(chǔ)架構(gòu)任柜。

對于Hadoop的集群來講，可以分成兩大類角色：Master和Salve沛厨。一個(gè)HDFS集群是由一個(gè)NameNode和若干個(gè)DataNode組成的宙地。其中NameNode作為主服務(wù)器，管理文件系統(tǒng)的命名空間和客戶端對文件系統(tǒng)的訪問操作逆皮；集群中的DataNode管理存儲(chǔ)的數(shù)據(jù)宅粥。MapReduce框架是由一個(gè)單獨(dú)運(yùn)行在主節(jié)點(diǎn)上的JobTracker和運(yùn)行在每個(gè)集群從節(jié)點(diǎn)的TaskTracker共同組成的。主節(jié)點(diǎn)負(fù)責(zé)調(diào)度構(gòu)成一個(gè)作業(yè)的所有任務(wù)电谣，這些任務(wù)分布在不同的從節(jié)點(diǎn)上秽梅。主節(jié)點(diǎn)監(jiān)控它們的執(zhí)行情況，并且重新執(zhí)行之前的失敗任務(wù)剿牺；從節(jié)點(diǎn)僅負(fù)責(zé)由主節(jié)點(diǎn)指派的任務(wù)企垦。當(dāng)一個(gè)Job被提交時(shí)，JobTracker接收到提交作業(yè)和配置信息之后晒来，就會(huì)將配置信息等分發(fā)給從節(jié)點(diǎn)钞诡，同時(shí)調(diào)度任務(wù)并監(jiān)控TaskTracker的執(zhí)行。

從上面的介紹可以看出湃崩，HDFS和MapReduce共同組成了Hadoop分布式系統(tǒng)體系結(jié)構(gòu)的核心荧降。HDFS在集群上實(shí)現(xiàn)分布式文件系統(tǒng)，MapReduce在集群上實(shí)現(xiàn)了分布式計(jì)算和任務(wù)處理攒读。HDFS在MapReduce任務(wù)處理過程中提供了文件操作和存儲(chǔ)等支持誊抛，MapReduce在HDFS的基礎(chǔ)上實(shí)現(xiàn)了任務(wù)的分發(fā)、跟蹤整陌、執(zhí)行等工作拗窃，并收集結(jié)果瞎领，二者相互作用，完成了Hadoop分布式集群的主要任務(wù)随夸。

1.2 環(huán)境說明

集群中包括4個(gè)節(jié)點(diǎn)：1個(gè)Master九默，3個(gè)Salve，節(jié)點(diǎn)之間局域網(wǎng)連接宾毒，可以相互ping通驼修。節(jié)點(diǎn)IP地址分布如下：

role hostname ip release
master Master.Hadoop 1.1.1.11 centos6.5
minion Salve1.Hadoop 1.1.1.12 centos6.5
minion Salve2.Hadoop 1.1.1.13 centos6.5
minion Salve3.Hadoop 1.1.1.14 centos6.5

四個(gè)節(jié)點(diǎn)上均是CentOS6.5系統(tǒng)，并且有一個(gè)相同的用戶hadoop诈铛。Master機(jī)器主要配置NameNode和JobTracker的角色乙各，負(fù)責(zé)總管分布式數(shù)據(jù)和分解任務(wù)的執(zhí)行；3個(gè)Salve機(jī)器配置DataNode和TaskTracker的角色幢竹，負(fù)責(zé)分布式數(shù)據(jù)存儲(chǔ)以及任務(wù)的執(zhí)行耳峦。其實(shí)應(yīng)該還應(yīng)該有1個(gè)Master機(jī)器，用來作為備用焕毫，以防止Master服務(wù)器宕機(jī)蹲坷，還有一個(gè)備用馬上啟用。后續(xù)經(jīng)驗(yàn)積累一定階段后補(bǔ)上一臺(tái)備用Master機(jī)器邑飒。

1.3 網(wǎng)絡(luò)配置

下面的例子我們將以Master機(jī)器為例循签，即主機(jī)名為"Master.Hadoop"，IP為"192.168.1.2"進(jìn)行一些主機(jī)名配置的相關(guān)操作疙咸。其他的Slave機(jī)器以此為依據(jù)進(jìn)行修改县匠。

1）修改當(dāng)前機(jī)器名稱

修改/etc/sysconfig/network"文件修改其中"HOSTNAME"后面的值，改成我們規(guī)劃的名稱撒轮。
修改類似：HOSTNAME=Master.Hdoop聚唐、HOSTNAME=Slave1.Hadoop ...

2）配置hosts文件（必須）

> vim /etc/hosts
1.1.1.11 Master.Hadoop
1.1.1.12 Slave1.Hadoop
1.1.1.13 Slave2.Hadoop
1.1.1.14 Slave3.Hadoop

1.4 安裝和啟動(dòng)SSH協(xié)議

在各機(jī)器間配置秘鑰對，主從互相訪問腔召，建議用hadoop用戶進(jìn)行杆查。

all:

ssh-keygen

把/.ssh/id_rsa.pub追加到目標(biāo)機(jī)器的/.ssh/authorized_keys

slave:chmod 600 ~/.ssh/authorized_keys

因?yàn)槭菍?shí)驗(yàn)，建議把iptables和selinux關(guān)閉臀蛛。

sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/sysconfig/selinux 
chkconfig iptables off
/etc/init.d/iptables stop

1.5 所需軟件

安裝salt亲桦，執(zhí)行批量化安裝

1）JDK軟件

下載地址：https://www.reucon.com/cdn/java/

JDK版本：jdk-7u45-linux-x64.tar.gz

2）Hadoop軟件

下載地址：http://apache.fayea.com/hadoop/common/hadoop-2.6.0/

Hadoop版本：hadoop-2.6.0.tar.gz

二、hadoop 環(huán)境部署

2.1安裝JDK

1）新建目錄

mkdir /data/{packages,sh,scripts,logs,py,tomcat,app} -p
cd /data/packages/
for i in `ls`;do tar xf $i;done

2.2配置環(huán)境變量

編輯"/etc/profile"文件浊仆，在后面添加Java的"JAVA_HOME"客峭、"CLASSPATH"以及"PATH"內(nèi)容。

mv jdk1.7.0_45/ /data/app/
echo 'export JAVA_HOME=/data/app/jdk1.7.0_45' >>/etc/profile
echo 'export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib::$JAVA_HOME/jre/lib' >>/etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin' >>/etc/profile
source /etc/profile
java -version  #查看java版本

為所有機(jī)器執(zhí)行此操作

三抡柿、hadoop的安裝和配置

3.1安裝hadoop

mv hadoop-2.6.0 /data/app/hadoop
chown hadoop.hadoop -R /data/app/hadoop

在"hadoop"下面創(chuàng)建tmp文件夾舔琅，把Hadoop的安裝路徑添加到"/etc/profile"中，修改"/etc/profile"文件（配置java環(huán)境變量的文件）洲劣，將以下語句添加到末尾备蚓，并使其有效：

echo 'export HADOOP_HOME=/data/app/hadoop' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin' >> /etc/profile
source /etc/profile
mkdir /data/app/hadoop/tmp

3.2 配置hadoop

分別配置core-site.xml课蔬、hdfs-site.xml、mapred-site.xml郊尝、yarn-site.xml二跋、slaves

1）配置hadoop-env.sh

cd /data/app/hadoop/etc/hadoop/
echo 'export JAVA_HOME=/data/app/jdk1.7.0_45' >>hadoop-env.sh

2）配置core-site.xml文件

修改Hadoop核心配置文件core-site.xml，這里配置的是HDFS的地址和端口號流昏。

<configuration>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/data/app/hadoop/tmp</value>
                <description>Abase for other temporary directories.</description>
        </property>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://Master.Hadoop:9000</value>
        </property>
<!--
        <property>
                <name>io.file.buffer.size</name>
                <value>512</value>
        </property>
-->
</configuration>

3）配置hdfs-site.xml文件

修改Hadoop中HDFS的配置扎即，配置的備份方式默認(rèn)為3。

<configuration>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:///data/app/hadoop/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:///data/app/hadoop/dfs/data</value>
        </property>
        <property>
            <name>dfs.replication</name>
            <value>2</value>
        </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>Master.Hadoop:50090</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
    
    <property>
    <name>dfs.datanode.ipc.address</name>
    <value>0.0.0.0:50020</value>
  </property>
  <property>
    <name>dfs.datanode.http.address</name>
    <value>0.0.0.0:50075</value>
  </property>
  
</configuration>

4）配置mapred-site.xml文件

修改Hadoop中MapReduce的配置文件况凉，配置的是JobTracker的地址和端口谚鄙。

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
                <final>true</final>
        </property>
    <property>
        <name>mapreduce.jobtracker.http.address</name>
        <value>Master.Hadoop:50030</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>Master.Hadoop:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>Master.Hadoop:19888</value>
    </property>
        <property>
                <name>mapred.job.tracker</name>
                <value>http://Master.Hadoop:9001</value>
        </property>
</configuration>

5）配置 yarm-site.xml文件

    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>Master.Hadoop</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>Master.Hadoop:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>Master.Hadoop:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>Master.Hadoop:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>Master.Hadoop:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>Master.Hadoop:8088</value>
    </property>
  • 到此：單機(jī)的server就算是配好了，這個(gè)時(shí)候就可以啟動(dòng)起來的可以看看效果刁绒；

四闷营、變身集群

4.1 配置集群

1）配置slaves

>vim etc/hadoop/slaves
Slave1.Hadoop
Slave2.Hadoop
Slave3.Hadoop

2）copy目錄

把/data/app/hadoop/復(fù)制到每個(gè)salve

rsync -av -e 'ssh -p 22' --delete /data/app/hadoop/ 1.1.1.12:/data/app/hadoop/
rsync -av -e 'ssh -p 22' --delete /data/app/hadoop/ 1.1.1.13:/data/app/hadoop/
rsync -av -e 'ssh -p 22' --delete /data/app/hadoop/ 1.1.1.14:/data/app/hadoop/

4.2 啟動(dòng)及驗(yàn)證

1）格式化HDFS文件系統(tǒng)

在"Master.Hadoop"上使用普通用戶hadoop進(jìn)行操作。(備注：只需一次膛锭，下次啟動(dòng)不再需要格式化粮坞。)

hadoop namenode -format
或
hdfs namenode –format

2）啟動(dòng)hadoop

sbin/start-dfs.sh
sbin/start-yarn.sh

順利的話蚊荣，master節(jié)點(diǎn)上有幾下3個(gè)進(jìn)程：jps （查看 hadoop的進(jìn)程）

7482 ResourceManager
7335 SecondaryNameNode
7159 NameNode

slave上有幾下2個(gè)進(jìn)程：

2296 DataNode
2398 NodeManager

同時(shí)可瀏覽：

http://1.1.1.11:8088/cluster/nodes
http://1.1.1.11:50070/dfshealth.html#tab-overview
http://1.1.1.11:8088/cluster/nodes
http://1.1.1.11:50070/dfshealth.html#tab-overview
  • 另外也可以通過 bin/hadoop dfsadmin -report 查看hdfs的狀態(tài)報(bào)告
    注：hadoop namenode不能啟動(dòng)初狰，9000端口沒有監(jiān)聽，
    解決：hdfs-site.xml
    刪除dfs和tmp下的文件互例，然后重新格式化hadoop namenode -format

參考1： http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html
參考2 ：http://www.itnose.net/detail/6182168.html

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 人面猴
    序言：七十年代末奢入，一起剝皮案震驚了整個(gè)濱河市，隨后出現(xiàn)的幾起案子媳叨，更是在濱河造成了極大的恐慌腥光，老刑警劉巖，帶你破解...
    沈念sama閱讀 221,635評論 6贊 515
  • 死咒
    序言：濱河連續(xù)發(fā)生了三起死亡事件糊秆，死亡現(xiàn)場離奇詭異武福，居然都是意外死亡，警方通過查閱死者的電腦和手機(jī)痘番，發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,543評論 3贊 399
  • 救了他兩次的神仙讓他今天三更去死
    文/潘曉璐 我一進(jìn)店門捉片，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人汞舱，你說我怎么就攤上這事伍纫。” “怎么了昂芜？”我有些...
    開封第一講書人閱讀 168,083評論 0贊 360
  • 道士緝兇錄：失蹤的賣姜人
    文/不壞的土叔 我叫張陵莹规，是天一觀的道長。 經(jīng)常有香客問我泌神，道長良漱，這世上最難降的妖魔是什么舞虱？ 我笑而不...
    開封第一講書人閱讀 59,640評論 1贊 296
  • ?港島之戀（遺憾婚禮）
    正文 為了忘掉前任，我火速辦了婚禮债热，結(jié)果婚禮上砾嫉，老公的妹妹穿的比我還像新娘。我一直安慰自己窒篱，他們只是感情好焕刮，可當(dāng)我...
    茶點(diǎn)故事閱讀 68,640評論 6贊 397
  • 惡毒庶女頂嫁案：這布局不是一般人想出來的
    文/花漫 我一把揭開白布。 她就那樣靜靜地躺著墙杯，像睡著了一般窟社。 火紅的嫁衣襯著肌膚如雪亏推。 梳的紋絲不亂的頭發(fā)上，一...
    開封第一講書人閱讀 52,262評論 1贊 308
  • 城市分裂傳說
    那天，我揣著相機(jī)與錄音颠通，去河邊找鬼。 笑死倘零，一個(gè)胖子當(dāng)著我的面吹牛谎仲，可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播算行，決...
    沈念sama閱讀 40,833評論 3贊 421
  • 雙鴛鴦連環(huán)套：你想象不到人心有多黑
    文/蒼蘭香墨 我猛地睜開眼梧油，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了州邢？” 一聲冷哼從身側(cè)響起儡陨，我...
    開封第一講書人閱讀 39,736評論 0贊 276
  • 萬榮殺人案實(shí)錄
    序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎量淌，沒想到半個(gè)月后骗村，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
    沈念sama閱讀 46,280評論 1贊 319
  • ?護(hù)林員之死
    正文 獨(dú)居荒郊野嶺守林人離奇死亡呀枢，尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,369評論 3贊 340
  • ?白月光啟示錄
    正文 我和宋清朗相戀三年胚股，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片裙秋。...
    茶點(diǎn)故事閱讀 40,503評論 1贊 352
  • 活死人
    序言：一個(gè)原本活蹦亂跳的男人離奇死亡琅拌，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出残吩，到底是詐尸還是另有隱情财忽，我是刑警寧澤，帶...
    沈念sama閱讀 36,185評論 5贊 350
  • ?日本核電站爆炸內(nèi)幕
    正文 年R本政府宣布泣侮，位于F島的核電站即彪，受9級特大地震影響，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜隶校，卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,870評論 3贊 333
  • 男人毒藥：我在死后第九天來索命
    文/蒙蒙 一漏益、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧深胳，春花似錦绰疤、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,340評論 0贊 24
  • 一樁弒父案轻庆，背后竟有這般陰謀
    文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至敛劝，卻和暖如春余爆，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背夸盟。 一陣腳步聲響...
    開封第一講書人閱讀 33,460評論 1贊 272
  • 情欲美人皮
    我被黑心中介騙來泰國打工蛾方， 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留，地道東北人上陕。 一個(gè)月前我還...
    沈念sama閱讀 48,909評論 3贊 376
  • 代替公主和親
    正文 我出身青樓桩砰，卻偏偏與公主長得像，于是被迫代替她去往敵國和親释簿。 傳聞我的和親對象是個(gè)殘疾皇子亚隅，可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,512評論 2贊 359

推薦閱讀更多精彩內(nèi)容