在虛擬機(jī)已安裝ubuntu，由于系統(tǒng)的更新源存在問題需要進(jìn)行更改叔磷。

（1）更新更新源
sudo gedit /etc/apt/sources.list，打開sources.list奖磁，跟換為如下源：

deb https://mirrors.ustc.edu.cn/ubuntu-old-releases/ubuntu/ utopic main restricted universe multiverse
deb-src https://mirrors.ustc.edu.cn/ubuntu-old-releases/ubuntu/ utopic main restricted universe multiverse

deb https://mirrors.ustc.edu.cn/ubuntu-old-releases/ubuntu/ utopic-security main restricted universe multiverse
deb-src https://mirrors.ustc.edu.cn/ubuntu-old-releases/ubuntu/ utopic-security main restricted universe multiverse

deb https://mirrors.ustc.edu.cn/ubuntu-old-releases/ubuntu/ utopic-updates main restricted universe multiverse
deb-src https://mirrors.ustc.edu.cn/ubuntu-old-releases/ubuntu/ utopic-updates main restricted universe multiverse

deb https://mirrors.ustc.edu.cn/ubuntu-old-releases/ubuntu/ utopic-backports main restricted universe multiverse
deb-src https://mirrors.ustc.edu.cn/ubuntu-old-releases/ubuntu/ utopic-backports main restricted universe multiverse

## Not recommended
# deb https://mirrors.ustc.edu.cn/ubuntu-old-releases/ubuntu/ utopic-proposed main restricted universe multiverse
# deb-src https://mirrors.ustc.edu.cn/ubuntu-old-releases/ubuntu/ utopic-proposed main restricted universe multiverse

然后在終端輸入sudo apt-get update改基。

（2）安裝vim，openssh-server咖为。然后就可以登錄本機(jī)秕狰。
只要輸入ssh localhost。設(shè)置無密碼登錄躁染，則需要以下操作：
首先退出剛才的 ssh鸣哀，就回到了我們原先的終端窗口，然后利用 ssh-keygen 生成密鑰吞彤，并將密鑰加入到授權(quán)中我衬。
exit # 退出剛才的 ssh localhost
cd ~/.ssh/ # 若沒有該目錄，請先執(zhí)行一次ssh localhost
ssh-keygen -t rsa # 會有提示饰恕，都按回車就可以
cat ./id_rsa.pub >> ./authorized_keys # 加入授權(quán)

Paste_Image.png

直接登錄即可挠羔。

（3）安裝java環(huán)境
Java環(huán)境可選擇 Oracle 的 JDK，或是 OpenJDK埋嵌，按中說的破加，新版本在 OpenJDK 1.7 下是沒問題的。為圖方便雹嗦，這邊直接通過命令安裝 OpenJDK 7范舀。
sudo apt-get install openjdk-7-jre openjdk-7-jdk
安裝好 OpenJDK 后，需要找到相應(yīng)的安裝路徑了罪，這個路徑是用于配置 JAVA_HOME 環(huán)境變量的锭环。執(zhí)行如下命令：
dpkg -L openjdk-7-jdk | grep '/bin/javac'
該命令會輸出一個路徑，除去路徑末尾的 “/bin/javac”捶惜，剩下的就是正確的路徑了田藐。
接著需要配置一下 JAVA_HOME 環(huán)境變量，為方便吱七，我們在 ~/.bashrc 中進(jìn)行設(shè)置：
vim ~/.bashrc
在文件最前面添加如下單獨一行（注意 = 號前后不能有空格）汽久，將“JDK安裝路徑”改為上述命令得到的路徑，并保存：
export JAVA_HOME=JDK安裝路徑
接著還需要讓該環(huán)境變量生效踊餐，執(zhí)行如下代碼：
source ~/.bashrc # 使變量設(shè)置生效
設(shè)置好后我們來檢驗一下是否設(shè)置正確：
echo $JAVA_HOME # 檢驗變量值
java -version
$JAVA_HOME/bin/java -version # 與直接執(zhí)行 java -version 一樣

Paste_Image.png

Paste_Image.png

（4）Hadoop偽分布式配置

Hadoop 可以在單節(jié)點上以偽分布式的方式運行，Hadoop 進(jìn)程以分離的 Java 進(jìn)程來運行吝岭，節(jié)點既作為 NameNode 也作為 DataNode三痰，同時吧寺，讀取的是 HDFS 中的文件。

Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中散劫，偽分布式需要修改2個配置文件 core-site.xml 和 hdfs-site.xml 稚机。Hadoop的配置文件是 xml 格式，每個配置以聲明 property 的 name 和 value 的方式來實現(xiàn)获搏。
修改配置文件 core-site.xml (通過 gedit 編輯會比較方便: gedit ./etc/hadoop/core-site.xml
)赖条，將當(dāng)中的
<configuration>
</configuration>
修改為下面配置：
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
同樣的，修改配置文件hdfs-site.xml：
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
配置完成后常熙，執(zhí)行 NameNode 的格式化:
./bin/hdfs namenode -format
如果不成功纬乍，可以注意以下問題。

（5）運行Hadoop偽分布式實例
創(chuàng)建hdfs上的文件夾裸卫，
./bin/hdfs dfs -mkdir -p /user/hadoop
將./etc/hadoop/.xml input文件放到hdfs中的input中仿贬，
./bin/hdfs dfs -mkdir input
./bin/hdfs dfs -put ./etc/hadoop/.xml input
./bin/hdfs dfs -ls input
偽分布式運行 MapReduce 作業(yè)的方式跟單機(jī)模式相同，區(qū)別在于偽分布式讀取的是HDFS中的文件（可以將單機(jī)步驟中創(chuàng)建的本地 input 文件夾墓贿，輸出結(jié)果 output 文件夾都刪掉來驗證這一點）茧泪。
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-.jar grep input output 'dfs[a-z.]+'
查看結(jié)果
./bin/hdfs dfs -cat output/
我們也可以將運行結(jié)果取回到本地：
/usr/local/hadoop$ ./bin/hdfs dfs -get output ./output

Hadoop 運行程序時，輸出目錄不能存在募壕，否則會提示錯誤 "org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/user/hadoop/output already exists" 调炬，因此若要再次執(zhí)行，需要執(zhí)行如下命令刪除 output 文件夾:
./bin/hdfs dfs -rm -r output # 刪除 output 文件夾
運行程序時舱馅，輸出目錄不能存在運行 Hadoop 程序時，為了防止覆蓋結(jié)果刀荒，程序指定的輸出目錄（如 output）不能存在代嗤，否則會提示錯誤，因此運行前需要先刪除輸出目錄缠借。在實際開發(fā)應(yīng)用程序時干毅，可考慮在程序中加上如下代碼，能在每次運行時自動刪除輸出目錄泼返，避免繁瑣的命令行操作：
Configuration conf = new Configuration();
Job job = new Job(conf);

/* 刪除輸出目錄 */
Path outputPath = new Path(args[1]);
outputPath.getFileSystem(conf).delete(outputPath, true);
若要關(guān)閉 Hadoop硝逢，則運行
./sbin/stop-all.sh

添加hadoop的路徑，export PATH=$PATH:/usr/local/hadoop/sbin:/usr/local/hadoop/bin绅喉，添加后執(zhí)行 source ~/.bashrc使設(shè)置生效渠鸽。

添加YARN，mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml
然后再進(jìn)行編輯柴罐，同樣使用 gedit 編輯會比較方便些 gedit ./etc/hadoop/mapred-site.xml：
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
接著修改配置文件 yarn-site.xml：
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
然后就可以啟動 YARN 了（需要先執(zhí)行過 ./sbin/start-dfs.sh）：
./sbin/start-yarn.sh # 啟動YARN
./sbin/mr-jobhistory-daemon.sh start historyserver # 開啟歷史服務(wù)器徽缚，才能在Web中查看任務(wù)運行情況

開啟后通過 jps
查看，可以看到多了 NodeManager 和 ResourceManager 兩個后臺進(jìn)程革屠，如下圖所示凿试。

啟動 YARN 之后排宰，運行實例的方法還是一樣的，僅僅是資源管理方式那婉、任務(wù)調(diào)度不同板甘。觀察日志信息可以發(fā)現(xiàn)，不啟用 YARN 時详炬，是 "mapred.LocalJobRunner" 在跑任務(wù)盐类，啟用 YARN 之后，是 "mapred.YARNRunner" 在跑任務(wù)痕寓。啟動 YARN 有個好處是可以通過 Web 界面查看任務(wù)的運行情況傲醉。

但 YARN 主要是為集群提供更好的資源管理與任務(wù)調(diào)度，然而這在單機(jī)上體現(xiàn)不出價值呻率，反而會使程序跑得稍慢些硬毕。因此在單機(jī)上是否開啟 YARN 就看實際情況了。

不啟動 YARN 需重命名 mapred-site.xml如果不想啟動 YARN礼仗，務(wù)必把配置文件 mapred-site.xml 重命名吐咳，改成 mapred-site.xml.template，需要用時改回來就行元践。否則在該配置文件存在韭脊，而未開啟 YARN 的情況下，運行程序會提示 "Retrying connect to server: 0.0.0.0/0.0.0.0:8032" 的錯誤单旁，這也是為何該配置文件初始文件名為 mapred-site.xml.template沪羔。

同樣的，關(guān)閉 YARN 的腳本如下：
./sbin/stop-yarn.sh
./sbin/mr-jobhistory-daemon.sh stop historyserver