#數(shù)據(jù)平臺實戰(zhàn) #1配置maven恳谎，tomcat腻窒，cbord的過程略 #2.在node01 啟動mysql mysql -h192.168.18...

第一部分：Stream程序設(shè)計原理 #SparkStreaming設(shè)計動機 很多重要的應(yīng)用要處理大量在線流式數(shù)據(jù)谴咸，并返回近實時的結(jié)果 ? 社交網(wǎng)...

i:10010#SparkSQL概述及原理 提供了兩種操作數(shù)據(jù)的方式? SQL查詢? DataFrame和DataSet API1提供了非常...

#啟動Spark JobHistoryServer第一步：修改yarn-site.xmlyarn.log.server.urlhttp://19...

(一)本地模式啟動在node01上cd ~/apps/spark2.2 bin/spark-shell定義變量val rdd = s...

Flume 日志收集系統(tǒng) #安裝 在node01下 在hadoop用戶下 cd ~/apps 在此路徑下 解壓后是 flume-1.8.0 ll...

Kafka 定義topic 類似于一個表 存儲相同格式良姆，有順序的數(shù)據(jù)秕铛，傳到kafka里面的數(shù)據(jù)叫消息常侣。 按照磁盤順序來讀寫數(shù)據(jù) 通過多分區(qū)杖虾，多副...

快樂大數(shù)據(jù)第5次課 hive（1）工作原理Hive的執(zhí)行入口是Driver，執(zhí)行的SQL語句首先提交到Drive驅(qū)動精盅，然后調(diào)用compiler解...

快樂大數(shù)據(jù)第四課 Mapreduce的優(yōu)化 1.Shuffle的過程 （1）每個Mag Task把輸出結(jié)果寫到內(nèi)存中的環(huán)形緩沖區(qū)帽哑；當(dāng)內(nèi)存環(huán)形緩沖...