通過spark-shell --master local[2] 讀取本地?cái)?shù)據(jù)文件做一個(gè)wordcount
這個(gè)命令可以在任何一個(gè)節(jié)點(diǎn)上運(yùn)行旨枯，local表示在本地執(zhí)行，2表示啟動(dòng)兩個(gè)線程芝薇。
spark-shell --master local[*] 表示使用當(dāng)前機(jī)器上所有可用的資源去運(yùn)行程序。
本地執(zhí)行和集群無關(guān)滚澜。
使用本地去執(zhí)行程序霎槐，方便測(cè)試程序的邏輯。
注意青伤，這里的master不是集群當(dāng)中的master督怜，而是本地殴瘦。
Spark session 是在spark2.0之后出現(xiàn)的狠角。
首先在/root/目錄下建立一個(gè)words.txt 文件，當(dāng)中存放了一些單詞蚪腋。
sc.textFile()加載數(shù)據(jù)文件
