有時(shí)候有沒有這么一種情況,我拿到了一個(gè)sql,csv,parquet文件萍诱,一起來就想寫sql瘦麸,不想寫那些亂七八糟的的東西,只是想快速實(shí)現(xiàn)我要的聚合查詢數(shù)據(jù)蒜绽。那么我們可以利用spark-sql直接操作文件的特性處理這類的需求镶骗,姐姐再也不用擔(dān)心我不會spark了,因?yàn)槲揖椭粫ql躲雅。
使用方法
csv
spark.sql("select * from csv.`/tmp/demo.csv`").show(false)
json
spark.sql("select * from json.`/tmp/demo.json`").show(false)
parquet
spark.sql("select * from parquet.`/tmp/demo.parquet`").show(false)