win10下Hadoop安裝

準備工作

1视哑、Hadoop官方下載地址:http://hadoop.apache.org/releases.html

image.png

選擇最新的3.0.0版本后跳轉(zhuǎn)至下面的頁面選擇紅色框部分鏈接即可下載,建議采用專業(yè)的下載工具下載,速度更快
image.png

2乏梁、將tar.gz包解壓至D盤根目錄:
image.png

Note:必須用管理員權限解壓
3、配置環(huán)境變量:
添加HADOOP_HOME配置:
image.png

在Path中添加如下:
image.png

4、Hadoop需要依賴JDK灌灾,考慮其路徑中不能有空格,故直接安裝如下目錄:

image.png

Hadoop配置

1悲柱、修改D:/hadoop-3.0.0/etc/hadoop/core-site.xml配置:

<configuration>
       <property>
           <name>fs.default.name</name>
           <value>hdfs://localhost:9000</value>
       </property>
 </configuration>

2锋喜、修改D:/hadoop-3.0.0/etc/hadoop/mapred-site.xml配置:

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

3、在D:/hadoop-3.0.0目錄下創(chuàng)建data目錄豌鸡,作為數(shù)據(jù)存儲路徑:


image.png

在D:/hadoop-3.0.0/data目錄下創(chuàng)建datanode目錄嘿般;
在D:/hadoop-3.0.0/data目錄下創(chuàng)建namenode目錄;

4涯冠、修改D:/hadoop-3.0.0/etc/hadoop/hdfs-site.xml配置:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property> 
     <name>dfs.permissions</name> 
     <value>false</value> 
  </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>/D:/hadoop-3.0.0/data/namenode</value>
   </property>
   <property>
        <name>fs.checkpoint.dir</name>
        <value>/D:/hadoop-3.0.0/data/snn</value>
    </property>
    <property>
        <name>fs.checkpoint.edits.dir</name>
        <value>/D:/hadoop-3.0.0/data/snn</value>
    </property>
       <property>
       <name>dfs.datanode.data.dir</name>
       <value>/D:/hadoop-3.0.0/data/datanode</value>
   </property>
</configuration>

5炉奴、修改D:/hadoop-3.0.0/etc/hadoop/yarn-site.xml配置:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
   </property>
   <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>  
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>
</configuration>

6、修改D:/hadoop-3.0.0/etc/hadoop/hadoop-env.cmd配置蛇更,找到"set JAVA_HOME=%JAVA_HOME%"替換為"set JAVA_HOME=D:\hadoop-3.0.0\jdk1.8.0_151"
7瞻赶、bin目錄替換,至https://github.com/steveloughran/winutils下載解壓

image.png

找到對應的版本后完整替換bin目錄即可
image.png

啟動服務

1派任、D:\hadoop-3.0.0\bin> hdfs namenode -format


image.png

2砸逊、通過start-all.cmd啟動服務


image.png

3、此時可以看到同時啟動了如下4個服務:
Hadoop Namenode
Hadoop datanode
YARN Resourc Manager
YARN Node Manager


image.png

HDFS應用

1掌逛、通過http://127.0.0.1:8088/即可查看集群所有節(jié)點狀態(tài):

image.png

2师逸、訪問http://localhost:9870/即可查看文件管理頁面:
進入文件管理頁面:

image.png

創(chuàng)建目錄:
image.png

上傳文件
image.png

上傳成功
image.png

Note:在之前的版本中文件管理的端口是50070,在3.0.0中替換為了9870端口豆混,具體變更信息來源如下官方說明
http://hadoop.apache.org/docs/r3.0.0/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html#Web_Interface
image.png

3篓像、通過hadoop命令行進行文件操作:
mkdir命令創(chuàng)建目錄:hadoop fs -mkdir hdfs://localhost:9000/user
image.png

?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市崖叫,隨后出現(xiàn)的幾起案子遗淳,更是在濱河造成了極大的恐慌,老刑警劉巖心傀,帶你破解...
    沈念sama閱讀 212,816評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件屈暗,死亡現(xiàn)場離奇詭異,居然都是意外死亡脂男,警方通過查閱死者的電腦和手機养叛,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,729評論 3 385
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來宰翅,“玉大人弃甥,你說我怎么就攤上這事≈希” “怎么了淆攻?”我有些...
    開封第一講書人閱讀 158,300評論 0 348
  • 文/不壞的土叔 我叫張陵阔墩,是天一觀的道長。 經(jīng)常有香客問我瓶珊,道長啸箫,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,780評論 1 285
  • 正文 為了忘掉前任伞芹,我火速辦了婚禮忘苛,結果婚禮上,老公的妹妹穿的比我還像新娘唱较。我一直安慰自己扎唾,他們只是感情好,可當我...
    茶點故事閱讀 65,890評論 6 385
  • 文/花漫 我一把揭開白布南缓。 她就那樣靜靜地躺著胸遇,像睡著了一般。 火紅的嫁衣襯著肌膚如雪西乖。 梳的紋絲不亂的頭發(fā)上狐榔,一...
    開封第一講書人閱讀 50,084評論 1 291
  • 那天坛增,我揣著相機與錄音获雕,去河邊找鬼。 笑死收捣,一個胖子當著我的面吹牛届案,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播罢艾,決...
    沈念sama閱讀 39,151評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼楣颠,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了咐蚯?” 一聲冷哼從身側(cè)響起童漩,我...
    開封第一講書人閱讀 37,912評論 0 268
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎春锋,沒想到半個月后矫膨,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,355評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡期奔,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,666評論 2 327
  • 正文 我和宋清朗相戀三年侧馅,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片呐萌。...
    茶點故事閱讀 38,809評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡馁痴,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出肺孤,到底是詐尸還是另有隱情罗晕,我是刑警寧澤济欢,帶...
    沈念sama閱讀 34,504評論 4 334
  • 正文 年R本政府宣布,位于F島的核電站小渊,受9級特大地震影響船逮,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜粤铭,卻給世界環(huán)境...
    茶點故事閱讀 40,150評論 3 317
  • 文/蒙蒙 一挖胃、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧梆惯,春花似錦酱鸭、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,882評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至怯屉,卻和暖如春蔚舀,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背锨络。 一陣腳步聲響...
    開封第一講書人閱讀 32,121評論 1 267
  • 我被黑心中介騙來泰國打工赌躺, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人羡儿。 一個月前我還...
    沈念sama閱讀 46,628評論 2 362
  • 正文 我出身青樓礼患,卻偏偏與公主長得像,于是被迫代替她去往敵國和親掠归。 傳聞我的和親對象是個殘疾皇子缅叠,可洞房花燭夜當晚...
    茶點故事閱讀 43,724評論 2 351

推薦閱讀更多精彩內(nèi)容

  • 一、系統(tǒng)參數(shù)配置優(yōu)化 1虏冻、系統(tǒng)內(nèi)核參數(shù)優(yōu)化配置 修改文件/etc/sysctl.conf肤粱,添加如下配置,然后執(zhí)行s...
    張偉科閱讀 3,727評論 0 14
  • (搭建集群部分借鑒了kiwenlau/hadoop-cluster-docker中的內(nèi)容厨相,不過那里的基礎環(huán)境是Ub...
    ProteanBear閱讀 3,829評論 0 12
  • 當一切無限真實领曼,這個世界是如此的丑陋。好吧领铐,這是一個讓人沮喪的事實悯森,但在那無盡的丑陋之中,卻總有人性的光輝...
    須閑閱讀 148評論 0 0
  • conda install --channel https://conda.anaconda.org/menpo ...
    龍黎_閱讀 438評論 0 0
  • 真羨慕你吶绪撵,你真的把你的夢想堅持下來了瓢姻。 前段時間里,有個許久未聯(lián)系的朋友音诈,突然聯(lián)系我了幻碱。 說的話也就是朋友之間噓...
    葉小渝閱讀 266評論 0 4