預(yù)備知識(shí) 先介紹在Spark SQL中兩個(gè)非常重要的數(shù)據(jù)結(jié)構(gòu)：Tree和Rule廊遍。 SparkSql的第一件事就是把SQLText解析成語(yǔ)法樹(shù)逛漫，這棵樹(shù)包含了很多節(jié)點(diǎn)對(duì)象瘾蛋，節(jié)點(diǎn)...
發(fā)簡(jiǎn)信
IP屬地：江蘇
-
[Spark SQL] 主要執(zhí)行流程 -
SparkContext組件之SparkConf
sparkContext是spark程序的入口硬纤，可以創(chuàng)建RDD拯腮、accumulators和broadcast sparkContext的初始化只需要一個(gè)sparkConf匿沛，s...
-
自律的人生龄章，到底有多賺袜香？
文/麥大人 01 自從去年寫(xiě)作以來(lái)撕予，陸陸續(xù)續(xù)的也認(rèn)識(shí)了一些同行。其中有一位叫楓姐的蜈首，我蠻佩服她实抡。 她是一個(gè)四歲孩子的媽媽?zhuān)瑢?xiě)作已經(jīng)兩年多，白天基本操持家務(wù)照顧孩子欢策。只有到了夜...
-
Azkaban 指定executor執(zhí)行任務(wù)當(dāng)使用multiple Executor的時(shí)候吆寨，有一些場(chǎng)景需要指定Executor來(lái)執(zhí)行任務(wù)，例如任務(wù)遷移的時(shí)候踩寇，需要將任務(wù)分配到新加入的Executor來(lái)觀(guān)察其能夠穩(wěn)定運(yùn)行...
-
Hbase Scan 主要流程分析.md
Hbase Scan 流程分析 公司在集群在從0.94.6升到0.98.6-cdh5.2.0后, 原來(lái)執(zhí)行的hbase scan 任務(wù)出現(xiàn)很多問(wèn)題. 表現(xiàn)在: setBatc...
-
Hadoop進(jìn)行HA 配置后再配置Federation
Hadoop HA 配置完成后啄清， 確實(shí)NameNode的穩(wěn)定性得到了保障，不過(guò)俺孙，問(wèn)題接踵而來(lái)盒延，那就是NameNode壓力過(guò)大。隨著數(shù)據(jù)的越來(lái)越多鼠冕，NameNode的壓力越來(lái)越...
-
Hadoop HA 配置在早期Hadoop1只有一個(gè)NameNode，還有一個(gè)secondary NameNode胯盯，secondary NameNode 作為冷備份懈费，在NameNode fail的時(shí)...
-
HBase major compact 對(duì)snapshot 的影響當(dāng)你對(duì)HBase的 表做 了snapshot后，此時(shí)該表的元數(shù)據(jù)以及相關(guān)的link文件都存儲(chǔ)在snapshot中博脑，之后憎乙，當(dāng)你刪除該表的數(shù)據(jù)，詳情見(jiàn)HBase數(shù)據(jù)的刪除和更新叉趣，...
-
HBase數(shù)據(jù)的刪除和更新
當(dāng)刪除HBase中的數(shù)據(jù)泞边，HBase會(huì)刪除存儲(chǔ)在HDFS上的數(shù)據(jù)，而Hadoop的Sequence File是一個(gè)順序讀寫(xiě)疗杉，批量處理的系統(tǒng)阵谚。那HBase怎么就能夠查詢(xún)到該記錄...
