在sparksql中使用udf,比較簡單,先在spark中自定義udf算子函數(shù),然后進行注冊,之后再sql中就可以直接使用該udf
val len = udf{(str:String) => str.leng}
sparkContext.udf.register("len",len)
val? ds = spark.read.json("file:///opt/five.json")
ds.createOrReplaceTempView("temp")
ds.show()
spark.sql("select len(name) from temp where age >25")