chinfun

@步閑 在輸出路徑前面寫hdfs://cluster1或hdfs://cluster2

Spark操作多HDFS集群

由于特殊需求，需要在一次Spark任務(wù)中切換HDFS集群先蒋。 本文我將介紹如何在一次的spark任務(wù)中操作不同的HDFS集群 我們以wordcount為例舅锄，分析如何配置。我們的...

cda766963c7e

9823 9 6

chinfun

樓主的配置有問題提澎，應(yīng)該把多個(gè)key相同的屬性配置在一起
val sc = new SparkContext()
// 多個(gè)HDFS的相同配置
sc.hadoopConfiguration.setStrings("fs.defaultFS", "hdfs://cluster1", "hdfs://cluster2");
sc.hadoopConfiguration.setStrings("dfs.nameservices", "cluster1", "cluster2");
// cluster1的配置
sc.hadoopConfiguration.set("dfs.ha.namenodes.cluster1", "nn1,nn2");
sc.hadoopConfiguration.set("dfs.namenode.rpc-address.cluster1.nn1", "namenode001:8020");
sc.hadoopConfiguration.set("dfs.namenode.rpc-address.cluster1.nn2", "namenode002:8020");
sc.hadoopConfiguration.set("dfs.client.failover.proxy.provider.cluster1", "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");
// cluster2的配置
sc.hadoopConfiguration.set("dfs.ha.namenodes.cluster2", "nn3,nn4");
sc.hadoopConfiguration.set("dfs.namenode.rpc-address.cluster2.nn3", "namenode003:8020");
sc.hadoopConfiguration.set("dfs.namenode.rpc-address.cluster2.nn4", "namenode004:8020");
sc.hadoopConfiguration.set("dfs.client.failover.proxy.provider.cluster2", "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");

Spark操作多HDFS集群

由于特殊需求掂墓，需要在一次Spark任務(wù)中切換HDFS集群。 本文我將介紹如何在一次的spark任務(wù)中操作不同的HDFS集群 我們以wordcount為例跨嘉，分析如何配置。我們的...

cda766963c7e

9823 9 6