要讓spark在集群模式下運行,需要正確設(shè)置
spark-submit --master spark://master_hostname:7077
注意master默認(rèn)要用spark master機(jī)器的hostname而不是IP;如果在調(diào)用./start-master.sh時使用了-h master_IP參數(shù)了牛,才可以用
spark-submit --master spark://master_IP:7077
訪問hdfs文件/user/hadoop/input時注竿,使用的hdfs的地址("hdfs://localhost:9000/user/hadoop/input"),參考 etc/hadoop/core-site.xml的fs.defaultFS設(shè)置康嘉,一般是hdfs://localhost:9000碉输。默認(rèn)也可以不設(shè)置。直接訪問"/user/hadoop/input"或"input"(hadoop用戶的相對路徑亭珍,只有hadoop用戶才可以使用這種格式)即可敷钾。