有時候有沒有這么一種情況,我拿到了一個sql,csv,parquet文件儡率,一起來就想寫sql挂据,不想寫那些亂七八糟的的東西,只是想快速實現(xiàn)我要的聚合查詢數(shù)據(jù)儿普。那么我們可以利用spark-sql直接操作文件的特性處理這類的需求崎逃,姐姐再也不用擔(dān)心我不會spark了,因為我就只會sql眉孩。
使用方法
csv
spark.sql("select * from csv.`/tmp/demo.csv`").show(false)
json
spark.sql("select * from json.`/tmp/demo.json`").show(false)
parquet
spark.sql("select * from parquet.`/tmp/demo.parquet`").show(false)