發(fā)簡信
IP屬地：重慶
-
mysql 5.7 主從模式部署 轉(zhuǎn)狂神說1玷室、mysql 一主一從部署 1.1、yum安裝mysql http://repo.mysql.com/yum/mysql-5.7-commun...
-
Flume自定義Source實(shí)現(xiàn)讀取文件偏移量的管理1.我們知道使用Flume實(shí)時(shí)監(jiān)控日志文件,可以使用tail -F 文件地址兔辅，但是使用tail -F 會(huì)有一個(gè)問題 當(dāng)日志滾動(dòng)添加至一個(gè)文件的時(shí)...
-
一頓火鍋告訴你啥是裝飾者模式
1:什么是裝飾者設(shè)計(jì)模式遥缕？百度百科:裝飾模式指的是在不必改變原類文件和使用繼承的情況下，動(dòng)態(tài)地?cái)U(kuò)展一個(gè)對象的功能。它是通過創(chuàng)建一個(gè)包裝對象，也就...
-
spark常見行動(dòng)算子
reduce(f:(T,T)=>T) 1. 作用：通過func函數(shù)聚集RDD中的所有元素弦悉，先聚合分區(qū)內(nèi)數(shù)據(jù)，再聚合分區(qū)間數(shù)據(jù)2.創(chuàng)建一個(gè)RDD針...
-
至少4種方式使用spark算子實(shí)現(xiàn)wordcout
1.使用reduceBykey 需求:讀取一個(gè)存放word的文件讀取這個(gè)文件使用reduceByKey算子進(jìn)行wordcount演示 1.val...
-
spark常見RDD算法演示1.sparkRDD大致總體上可以分成兩個(gè)bufe一個(gè)是Value類型和Key-Value類型 1.1Value型 1.1.1map((func...