有時(shí)候在編寫Spark代碼的時(shí)候本地調(diào)試通過但是提交到集群后無(wú)法運(yùn)行撩穿,報(bào)如下錯(cuò)誤:
java.util.NoSuchElementException: None.get at at .......
出現(xiàn)原因
出現(xiàn)這種報(bào)錯(cuò)的原因是Scala中null或None的錯(cuò)誤使用;或是對(duì)空值沒有做任何處理時(shí)可能會(huì)
任何語(yǔ)言都有一種方式來(lái)表示“空”谒撼,java中使用null來(lái)表示,在Scala中用None來(lái)表示廓潜!
None
Scala鼓勵(lì)我們?cè)谧兞亢秃瘮?shù)返回值不會(huì)引用任何值的時(shí)候來(lái)使用Option類型抵皱。在沒有返回值時(shí)使用None辩蛋,有返回值時(shí)使用Some來(lái)包含這個(gè)值呻畸。None和Some都是Option的一個(gè)子類。
None被聲明為一個(gè)對(duì)象(Object)擂错,不是一個(gè)Class,因?yàn)槲覀冎恍枰粋€(gè)None的實(shí)例來(lái)表示空即可樱蛤,類似于Java中的null剑鞍,但是scala中的None是個(gè)有方法的對(duì)象。
例子
Option類型的值通常作為Scala集合類型(List,Map等)操作的返回類型爽醋。比如Map的get方法:
val capitals = Map("France"->"Paris", "Japan"->"Tokyo", "China"->"Beijing")
capitals get "France"
---> Option[String] = Some(Paris)
capitals get "North Pole"
---> Option[String] = None
當(dāng)程序傳回Some時(shí),代表成功返回了一個(gè)String蚂四,并且可以通過get()方法來(lái)得到值光戈;如果返回None,這個(gè)時(shí)候還要get()的話就會(huì)出現(xiàn)'NoSuchElementException'久妆。
我們也可以選用另外一個(gè)方法,getOrElse跷睦。這個(gè)方法在這個(gè)Option是Some的實(shí)例時(shí)返回對(duì)應(yīng)的值筷弦,而在是None的實(shí)例時(shí)返回傳入的參數(shù)抑诸。換句話說(shuō)烂琴,傳入getOrElse的參數(shù)實(shí)際上是默認(rèn)返回值蜕乡。