package bl.test.spark
import org.apache.spark.sql.SparkSession
/**
* DataFrame中的操作操作
*/
object DataFrameCase {
def main(args: Array[String]) {
val spark = SparkSession.builder().appName("DataFrameRDDApp").master("local[2]").getOrCreate()
// RDD ==> DataFrame
val rdd = spark.sparkContext.textFile("file:///Users/rocky/data/student.data")
//注意：需要導(dǎo)入隱式轉(zhuǎn)換
import spark.implicits._
val studentDF = rdd.map(_.split("\\|")).map(line => Student(line(0).toInt, line(1), line(2), line(3))).toDF()
//show默認(rèn)只顯示前20條
studentDF.show
studentDF.show(30)
studentDF.show(30, false)
//前10行
studentDF.take(10)
//第一行
studentDF.first()
studentDF.head(3)
//獲取emaill的前30行 不截取
studentDF.select("email").show(30, false)
//名稱為空的 或 Null
studentDF.filter("name=''").show
studentDF.filter("name='' OR name='NULL'").show
//name以M開頭的人
studentDF.filter("SUBSTR(name,0,1)='M'").show
//按照name排序 默認(rèn)升序
studentDF.sort(studentDF("name")).show
studentDF.sort(studentDF("name").desc).show
//按照name和id排序
studentDF.sort("name", "id").show
//按照name升序 id降序列
studentDF.sort(studentDF("name").asc, studentDF("id").desc).show
//別名查詢
studentDF.select(studentDF("name").as("student_name")).show
//join查詢
val studentDF2 = rdd.map(_.split("\\|")).map(line => Student(line(0).toInt, line(1), line(2), line(3))).toDF()
studentDF.join(studentDF2, studentDF.col("id") === studentDF2.col("id")).show
spark.stop()
}
case class Student(id: Int, name: String, phone: String, email: String)
}
DataFrame API 操作
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
- 文/潘曉璐 我一進(jìn)店門则披，熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)，“玉大人洗出，你說(shuō)我怎么就攤上這事士复。” “怎么了翩活？”我有些...
- 文/不壞的土叔 我叫張陵阱洪，是天一觀的道長(zhǎng)。 經(jīng)常有香客問我菠镇，道長(zhǎng)冗荸，這世上最難降的妖魔是什么？ 我笑而不...
- 正文 為了忘掉前任利耍，我火速辦了婚禮蚌本，結(jié)果婚禮上盔粹，老公的妹妹穿的比我還像新娘。我一直安慰自己程癌，他們只是感情好舷嗡，可當(dāng)我...
- 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著嵌莉，像睡著了一般进萄。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上锐峭，一...
- 那天中鼠，我揣著相機(jī)與錄音，去河邊找鬼只祠。 笑死兜蠕，一個(gè)胖子當(dāng)著我的面吹牛，可吹牛的內(nèi)容都是我干的抛寝。 我是一名探鬼主播，決...
- 文/蒼蘭香墨 我猛地睜開眼曙旭，長(zhǎng)吁一口氣：“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼盗舰！你這毒婦竟也來(lái)了？” 一聲冷哼從身側(cè)響起桂躏，我...
- 序言：老撾萬(wàn)榮一對(duì)情侶失蹤钻趋，失蹤者是張志新（化名）和其女友劉穎，沒想到半個(gè)月后剂习，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體蛮位，經(jīng)...
- 正文 獨(dú)居荒郊野嶺守林人離奇死亡，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
- 正文 我和宋清朗相戀三年鳞绕，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了失仁。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
- 正文 年R本政府宣布，位于F島的核電站鹦蠕，受9級(jí)特大地震影響冒签，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜钟病，卻給世界環(huán)境...
- 文/蒙蒙 一萧恕、第九天 我趴在偏房一處隱蔽的房頂上張望霜定。 院中可真熱鬧，春花似錦廊鸥、人聲如沸望浩。這莊子的主人今日做“春日...
- 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)磨德。三九已至，卻和暖如春吆视，著一層夾襖步出監(jiān)牢的瞬間典挑，已是汗流浹背。 一陣腳步聲響...
- 正文 我出身青樓授滓，卻偏偏與公主長(zhǎng)得像琳水，于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子般堆，可洞房花燭夜當(dāng)晚...
推薦閱讀更多精彩內(nèi)容
- Spark提供了三種主要的與數(shù)據(jù)相關(guān)的API： RDD DataFrame DataSet 下面詳細(xì)介紹下各自的特...
- 一魔招、Spark第一代api：RDDRDD:五大核心特征： 二晰搀、Spark第二代API：DataFrameDataF...
- 一、reindex() 方法：重新索引 針對(duì) Series 的重新索引操作 重新索引指的是根據(jù)index參數(shù)重新進(jìn)...
- 學(xué)了一段時(shí)間的pandas仆百，結(jié)果每次想對(duì)其中的某個(gè)元素進(jìn)行條件選擇替換值的時(shí)候都會(huì)遇到困難厕隧。一開始想到的是用for...
