本地模型運(yùn)行
- 在windows的eclipse里面直接運(yùn)行main方法莽囤,就會(huì)將job提交給本地執(zhí)行器localjobrunner執(zhí)行
----輸入輸出數(shù)據(jù)可以放在本地路徑下(c:/wc/srcdata/)
----輸入輸出數(shù)據(jù)也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdata)
- 在linux的eclipse里面直接運(yùn)行main方法吨拗,但是不要添加yarn相關(guān)的配置,也會(huì)提交給localjobrunner執(zhí)行
----輸入輸出數(shù)據(jù)可以放在本地路徑下(/home/hadoop/wc/srcdata/)
----輸入輸出數(shù)據(jù)也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdata)
集群模式運(yùn)行
將工程打成jar包,上傳到服務(wù)器蛤售,然后用hadoop命令提交 hadoop jar wc.jar cn.itcast.hadoop.mr.wordcount.WCRunner
在linux的eclipse中直接運(yùn)行main方法烘豹,也可以提交到集群中去運(yùn)行,但是胆敞,必須采取以下措施:
----在工程src目錄下加入 mapred-site.xml 和 yarn-site.xml
----將工程打成jar包(wc.jar)着帽,同時(shí)在main方法中添加一個(gè)conf的配置參數(shù) conf.set("mapreduce.job.jar","wc.jar");在windows的eclipse中直接運(yùn)行main方法,也可以提交給集群中運(yùn)行移层,但是因?yàn)槠脚_(tái)不兼容启摄,需要做很多的設(shè)置修改
----要在windows中存放一份hadoop的安裝包(解壓好的)
----要將其中的lib和bin目錄替換成根據(jù)你的windows版本重新編譯出的文件
----再要配置系統(tǒng)環(huán)境變量 HADOOP_HOME 和 PATH
----修改YarnRunner這個(gè)類的源碼