發(fā)簡(jiǎn)信
IP屬地：廣西
-
SPARK[RDD之轉(zhuǎn)換函數(shù)]
前面講到了RDD的分區(qū)问慎、RDD的創(chuàng)建，這節(jié)將講解RDD的轉(zhuǎn)換，RDD的轉(zhuǎn)換就是從父RDD生成一個(gè)新的RDD，新的RDD分區(qū)可能和父RDD一致也可...
-
SPARK[RDD之創(chuàng)建函數(shù)]
RDD的創(chuàng)建大多數(shù)情況下是從hdfs文本來(lái)的哩牍，當(dāng)然也可以從其他組件接入進(jìn)來(lái)，如kafka、hbase等萍倡，后續(xù)介紹 創(chuàng)建類型： 1、文本類型沒(méi)有指...
-
SPARK[RDD之分區(qū)函數(shù)]
rdd的計(jì)算都是以partiotion為單元的日杈，這些分區(qū)的轉(zhuǎn)換函數(shù)(見(jiàn)后面的章節(jié))不會(huì)直接返回結(jié)果遣铝。當(dāng)出現(xiàn)collect,count,toLis...
-
SPARK[RDD之partitions]
RDD是容錯(cuò)、并行的數(shù)據(jù)結(jié)構(gòu)莉擒，具備分區(qū)的屬性酿炸，這個(gè)分區(qū)可以是單機(jī)上分區(qū)也可以是多機(jī)上的分區(qū)，對(duì)于RDD分區(qū)的數(shù)量涉及到這個(gè)RDD進(jìn)行并發(fā)計(jì)算的粒...
-
SPARK[RDD之dependencies]
Resilient Distributed Datasets [r?'z?l??nt] 準(zhǔn)確翻譯為 容錯(cuò)的 并行的 數(shù)據(jù)結(jié)構(gòu) 而不是彈性分布式...
-
SPARK[star]
AMPAlgorithms 算法Machines 機(jī)器people 人 spark較mapreduce快100倍的原因：內(nèi)存數(shù)據(jù)涨冀、調(diào)度優(yōu)化填硕、...
-
HBASE[3]建表考慮hbase建表在hbase中的表，表大小可以使10億行和數(shù)百萬(wàn)個(gè)列鹿鳖，存儲(chǔ)量是其他任何radbms無(wú)法比擬的扁眯，查詢更新等待時(shí)間并絲毫不比radbm...
-
MapReduce
OLTP On-Line Transaction ProcessingOLAP On-Line Analytical Processing在定時(shí)...
-
HBASE[2]高級(jí)特性
wait ..