- spark操作時候枪眉,如果一個數據集需要反復的運算,則考慮將其導入進內存中,使得能夠快速的運行。
//在使用緩存命令之前枫笛,需要導入一個包
import org.apache.spark.storage.StorageLevel
val x =sc.parallelize(List(1,2,3,4))
x.persist(StorageLevel.MEMORY_AND_DISK)
//默認緩存等級為:MEMORY_ONLY
//將緩存數據集從內存中釋放
x.unpersist()
//在使用緩存命令之前枫笛,需要導入一個包
import org.apache.spark.storage.StorageLevel
val x =sc.parallelize(List(1,2,3,4))
x.persist(StorageLevel.MEMORY_AND_DISK)
//默認緩存等級為:MEMORY_ONLY
//將緩存數據集從內存中釋放
x.unpersist()