13篇文章 · 47785字 · 2人關(guān)注
-
spark題05
1.scala中private 與 private[this] 修飾符的區(qū)別？ private[包名],private[this] 可以放在字段...
-
spark題06
1.kafka收集數(shù)據(jù)的原理？ 2.講講列式存儲(chǔ)的 parquet文件底層格式筷狼？ 3.dataset和dataframe劳吠？ 4 scala中tr...
-
spark題07
1懒闷、簡答說一下hadoop的map-reduce編程模型 首先map task會(huì)從本地文件系統(tǒng)讀取數(shù)據(jù)，轉(zhuǎn)換成key-value形式的鍵值對(duì)集合...
-
spark題08
1告抄、Operation category READ is not supported in state standby是什么原因?qū)е碌淖ィ縪rg....
-
spark題09
1.給定a、b兩個(gè)文件玄妈，各存放50億個(gè)url，每個(gè)url各占64字節(jié)髓梅，內(nèi)存限制是4G拟蜻，讓你找出a、b文件共同的url? 方案1：可以估計(jì)每個(gè)文件...
-
重點(diǎn)關(guān)注 ti
17.reduce后輸出的數(shù)據(jù)量有多大枯饿？（重點(diǎn)Ｔ凸！Ｉ莘健） 并不是想知道確切的數(shù)據(jù)量有多大這個(gè)搔扁，而是想問你，MR的執(zhí)行機(jī)制蟋字，開發(fā)完程序稿蹲，有沒有認(rèn)真評(píng)...
-
spark題04
1.MR V1 有哪些不足？ 1)可擴(kuò)展性差（對(duì)于變化的應(yīng)付能力） a) JobTracker內(nèi)存中保存用戶作業(yè)的信息 b) JobTracke...
-
spark題031.Spark使用parquet文件存儲(chǔ)格式能帶來哪些好處鹊奖？ 使用 parquet 主要是對(duì) Spark SQL 查詢進(jìn)行優(yōu)化苛聘，parquet使...
