1.自我介紹2.HBase1.compaction2.列族和HFile3.何時(shí)用hdfs何時(shí)用hbase4.meta表3.hive1.內(nèi)部表外部表2.開窗函數(shù)3.udf函數(shù)4...
發(fā)簡(jiǎn)信
IP屬地：遼寧
-
2020-06-18
-
Future的使用
菜單新建打開已保存另存為導(dǎo)出打印主題偏好設(shè)置關(guān)于關(guān)閉Future的使用 get(long timeout, TimeUnit unit)package java.util.c...
-
原名凡人求索-李凱旋,歡迎大家一起交流數(shù)據(jù)方面的問題，我的微信號(hào)lkx941013
-
一幫瘋狂的人通過有計(jì)劃的輸入，每周總結(jié)一篇數(shù)據(jù)類文章狈谊，堅(jiān)持一年時(shí)間喜命。
-
yarn的執(zhí)行架構(gòu)
1.Client 提交一個(gè)job2.ResourceManager分配資源，在NodeManager上啟動(dòng)AppMaster3.AppMaster在RecourceManag...
-
spark 運(yùn)行架構(gòu)
1.為應(yīng)用構(gòu)建基本運(yùn)行環(huán)境河劝，Driver 創(chuàng)建SparkContext進(jìn)行資源的申請(qǐng)壁榕，任務(wù)的分配，監(jiān)控赎瞎。2.ClusterManager為Executor分配資源牌里，并且啟動(dòng)E...
-
spark core
fastdisk 10xmemory 100x easycodeinteractive shell unified stackbatchstreamingmlib deplo...
-
RDD五大特性
1. a list of partitions 2. a function for computing each split 3. a list dependencies o...
-
-
sparkcore進(jìn)行wordcount詞頻統(tǒng)計(jì)
準(zhǔn)備一份數(shù)據(jù)/home/admin/data/helloworld.txt 按照詞頻排序
-
sparkcore的join
先準(zhǔn)備兩個(gè)rdd數(shù)據(jù) 1.a join b得到的結(jié)果 2.a leftOuterJoin b得到的結(jié)果 3.a rightOutJoin b得到的結(jié)果 4.a fullOut...
-
Rdd的操作
1.transformation lazy:僅僅記錄transformation路徑牡辽，不發(fā)生操作 map 對(duì)每一個(gè)元素進(jìn)行轉(zhuǎn)換 filter 對(duì)元素進(jìn)行過濾3.flatmap...
-
Rdd的創(chuàng)建
1.通過集合生成 Spark will run one task for each partition of the cluster.一個(gè)partition對(duì)應(yīng)一個(gè)task ...
-
vim常用操作命令
1.：n跳轉(zhuǎn)到第n行2.：set number顯示行數(shù)3.：dd刪除當(dāng)前行4.：u撤回5.：G到末尾6.: gg到開頭
-
編譯源碼
1、安裝bzip2以及各種依賴yum -y install wget gcc gcc-c++ bzip2 bzip2-devel zlib zlib-devel openss...
-
-
orderby sortby distributeby clusterby
1.orderby全局排序2.sortby 分區(qū)排序3.distributeby 分區(qū)4.clusterby 相當(dāng)于sortby和distributeby的key相同的時(shí)候
