16.1 實驗環(huán)境介紹
- 內(nèi)容概述
- 環(huán)境準備
- Kerberos環(huán)境和非Kerberos集群
- 測試環(huán)境
- Kerberos集群CDH5.11.2，OS為Redhat7.2
- 非Kerberos集群CDH5.13觅够，OS為CentOS6.5
- 前置條件
- CDH集群運行正常
- 本地開發(fā)環(huán)境與集群網(wǎng)絡(luò)互通且端口放通
16.2 示例
這里使用的代碼是沒有加載CDH集群的xml配置的陶因，因為使用hadoop命令提交時會加載集群的配置信息（如hdfs-site.xml/yarn-site.xlm/core-sitem.xml等）骡苞。
package com.cloudera.mr;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
/**
* package: com.cloudera.mr
* describe: 打包jar到集群使用hadoop命令提交作業(yè)示例
* creat_user: Fayson
* email: htechinfo@163.com
* creat_date: 2017/12/6
* creat_time: 下午11:30
* 公眾號：Hadoop實操
*/
public class WordCount {
private static Logger logger = LoggerFactory.getLogger(WordCount.class);
public static void main(String[] args) {
logger.info(args[0] + "-----" + args[1]);
try {
Configuration conf = new Configuration();
Job wcjob = Job.getInstance(conf);
wcjob.setJobName("MyWordCount");
wcjob.setJarByClass(WordCount.class);
wcjob.setJarByClass(InitMapReduceJob.class);
wcjob.setMapperClass(WordCountMapper.class);
wcjob.setReducerClass(WordCountReducer.class);
wcjob.setMapOutputKeyClass(Text.class);
wcjob.setMapOutputValueClass(LongWritable.class);
wcjob.setOutputKeyClass(Text.class);
wcjob.setOutputValueClass(LongWritable.class);
FileInputFormat.setInputPaths(wcjob, args[0]);
FileOutputFormat.setOutputPath(wcjob, new Path(args[1]));
//調(diào)用job對象的waitForCompletion()方法，提交作業(yè)楷扬。
boolean res = wcjob.waitForCompletion(true);
System.exit(res ? 0 : 1);
} catch (Exception e) {
e.printStackTrace();
}
}
}
16.3 編譯打包MapReduce作業(yè)
- 使用Maven命令進行編譯打包解幽，該命令運行需要在工程所在目錄下運行
cd /Volumes/Transcend/work/cdhproject
mvn clean package
-
編譯成功后，在工程的target目錄下可以看到mr-demo-1.0-SNAPSHOT.jar包
- 將mr-demo-1.0-SNAPSHOT.jar包上傳到CDH集群的任意節(jié)點
- 注意：這里是將jar包上傳至CDH集群的任意節(jié)點且hadoop命令可以正常運行烘苹。
16.4 非Kerberos集群提交作業(yè)
- 在命令行執(zhí)行如下命令提交MR作業(yè)
hadoop jar mr-demo-1.0-SNAPSHOT.jar com.cloudera.mr.WordCount /fayson/test_table /wordcount/
- Yarn界面查看躲株，作業(yè)收費執(zhí)行成功
- 查看HDFS輸出目錄
16.5 Kerberos集群提交作業(yè)
- 在Kerberos集群init Kerberos賬號
[ec2-user@ip-172-31-22-86 ~]$ kdestroy
[ec2-user@ip-172-31-22-86 ~]$ kinit -kt fayson.keytab fayson
[ec2-user@ip-172-31-22-86 ~]$ klist
Ticket cache: FILE:/tmp/krb5cc_1000
Default principal: fayson@CLOUDERA.COM
Valid starting Expires Service principal
12/06/2017 11:02:53 12/07/2017 11:02:53 krbtgt/CLOUDERA.COM@CLOUDERA.COM
renew until 12/13/2017 11:02:53
[ec2-user@ip-172-31-22-86 ~]$
- 在命令行使用hadoop提交作業(yè)
[ec2-user@ip-172-31-22-86 ~]$ hadoop jar mr-demo-1.0-SNAPSHOT.jar com.cloudera.mr.WordCount /fayson /wordcount/out
- Yarn界面查看作業(yè)是否執(zhí)行成功
- 查看HDFS目錄輸出的結(jié)果
16.6 總結(jié)
- 在本地環(huán)境開發(fā)MapReduce作業(yè)的時候，需要加載集群的xml配置镣衡，將打包好的MR jar包提交到集群使用hadoop命令運行時霜定，代碼里面的Configuration在初始化的時候不需要加載xml的配置即可。
大數(shù)據(jù)視頻推薦：
騰訊課堂
CSDN
大數(shù)據(jù)語音推薦：
企業(yè)級大數(shù)據(jù)技術(shù)應(yīng)用
大數(shù)據(jù)機器學(xué)習(xí)案例之推薦系統(tǒng)
自然語言處理
大數(shù)據(jù)基礎(chǔ)
人工智能：深度學(xué)習(xí)入門到精通
