要加載本地文件,必須采用“file:///”開頭的這種格式搓译。執(zhí)行上上面這條命令以后,并不會(huì)馬上顯示結(jié)果锋喜,因?yàn)樾┘海琒park采用惰性機(jī)制,只有遇到“行動(dòng)”類型的操作嘿般,才會(huì)從頭到尾執(zhí)行所有操作段标。
scala> val textFile = sc.textFile("file:///root/app/spark/input/word.txt")
textFile: org.apache.spark.rdd.RDD[String] = file:///root/app/spark/input/word.txt MapPartitionsRDD[87] at textFile at <console>:24
scala> textFile.first
res52: String = hello world
first()是一個(gè)“行動(dòng)”(Action)類型的操作,會(huì)啟動(dòng)真正的計(jì)算過程炉奴,從文件中加載數(shù)據(jù)到變量textFile中逼庞,并取出第一行文本。屏幕上會(huì)顯示很多反饋信息瞻赶。
saveAsTextFile
saveAsTextFile()是一個(gè)“行動(dòng)”(Action)類型的操作赛糟,所以派任,馬上會(huì)執(zhí)行真正的計(jì)算過程,從word.txt中加載數(shù)據(jù)到變量textFile中