從今天起璧榄，關心hadoop
因工作需要，需要了解一些hadoop相關內容吧雹，記下來希望以后可以作為一個參考骨杂，幫助像我這樣的新手
歡迎拍磚~~~ :)

1、 下載必要軟件包

http://hadoop.apache.org/releases.html
我下載的是2.7版本

2雄卷、 安裝java

a) 把java安裝好搓蚪，可參考CentOS 安裝Java 1.8

從oracle官網下載jdk：
wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u65-b17/jdk-8u65-linux-x64.rpm"

新改版后的下載頁面需要加上cookie頭部才能用wget順利下載，版本號可以在官網上瀏覽后自行選擇
安裝：
rpm -ivh jdk-8u65-linux-x64.rpm

裝好后龙亲，再次確認當前系統(tǒng)默認的java版本：

如果看到：
java version "1.8.0_65"
Java(TM) SE Runtime Environment (build 1.8.0_65-b17)
Java HotSpot(TM) 64-Bit Server VM (build 25.65-b01, mixed mode)
那么恭喜陕凹，已經安裝成功。

b) 配置環(huán)境變量

vim ~/.bashrc

加上這兩行
JAVA_HOME=/usr/java/jdk1.8.0_65/PATH=$JAVA_HOME:$PATH
export PATH JAVA_HOME

刷新下環(huán)境變量
source ~/.bashrc

3鳄炉、 基本配置（最簡配置）

core-site.xml

<configuration>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://localhost</value>
        </property>
</configuration>

hdfs-site.xml

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>

        <!-- 這個可以不配杜耙，我的機器高端口不讓用 -->
        <property>
                <name>dfs.namenode.http-address</name>
                <value>localhost:8080</value>
        </property>
</configuration>

mapred-sit.xml

<configuration>
        <property>
                <name>mapred.job.tracker</name>
                <value>localhost:8021</value>
        </property>
</configuration>

OK了，就這么多拂盯，其它高級配置用到再說佑女，咱從簡單來。

4谈竿、繼續(xù)配置環(huán)境變量

繼續(xù)在~/.bashrc中添加

export HADOOP_INSTALL="/home/users/[yourname]/hadoop_learn/hadoop"
export PATH=$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin

刷新下環(huán)境變量
source ~/.bashrc

5团驱、格式化HDFS

這個用來初始化空文件系統(tǒng)，新安裝要搞一下這個
hadoop namenode -format

5空凸、啟動偽分布模式

運行 start-all.sh
下面一堆輸入密碼嚎花，也可以按書上寫的做個免密碼登錄ssh localhost，我公司電腦原因這塊內容不可以做呀洲，就不寫了紊选，不設置也沒關系

6、驗證安裝

1道逗、運行JPS
命令： JPS
顯示下面這一坨岳瞭，就安裝好了

Paste_Image.png

hadoop_namenodeinfomation.png

7些椒、報錯解決

1薄辅、運行過程中報這個問題
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
下載對應版本，解壓到 lib/native下面，可以搞定此報警
http://dl.bintray.com/sequenceiq/sequenceiq-bin/

8即横、WordCount

1、建立輸入目錄
hadoop fs -mkdir -p input

2舶替、隨便烤點啥
hadoop fs -copyFromLocal README.txt input

3令境、運行官方示例
hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output

4、輸出這個樣子基本就ok了

Paste_Image.png

5顾瞪、查看結果
hadoop fs -cat output/*

Paste_Image.png

9抛蚁、總結

安裝過程比較流暢陈醒，基本就是解壓，配變量瞧甩，另外別用系統(tǒng)的openJDK钉跷，安裝oracle的比較靠譜