快樂大數(shù)據(jù)

#數(shù)據(jù)平臺(tái)實(shí)戰(zhàn) #1配置maven雕沉，tomcat脑奠，cbord的過程略 #2.在node01 啟動(dòng)mysql mysql -h192.168.183.101 -uhive -p...

快樂大數(shù)據(jù)

第一部分：Stream程序設(shè)計(jì)原理 #SparkStreaming設(shè)計(jì)動(dòng)機(jī) 很多重要的應(yīng)用要處理大量在線流式數(shù)據(jù)闸拿，并返回近實(shí)時(shí)的結(jié)果 ? 社交網(wǎng)絡(luò)趨勢(shì)跟蹤 ? 電商網(wǎng)站指標(biāo)統(tǒng)...

快樂大數(shù)據(jù)

i:10010#SparkSQL概述及原理 提供了兩種操作數(shù)據(jù)的方式? SQL查詢? DataFrame和DataSet API1提供了非常豐富的數(shù)據(jù)源API? 如:Te...

快樂大數(shù)據(jù)

#啟動(dòng)Spark JobHistoryServer第一步：修改yarn-site.xmlyarn.log.server.urlhttp://192.168.183.102:1...

快樂大數(shù)據(jù)

(一)本地模式啟動(dòng)在node01上cd ~/apps/spark2.2 bin/spark-shell定義變量val rdd = sc.parallelize(1...

快樂大數(shù)據(jù)

Flume 日志收集系統(tǒng) #安裝 在node01下 在hadoop用戶下 cd ~/apps 在此路徑下 解壓后是 flume-1.8.0 ll cd conf 再把演示用的...

快樂大數(shù)據(jù)

Kafka 定義topic 類似于一個(gè)表 存儲(chǔ)相同格式夫凸，有順序的數(shù)據(jù)照雁，傳到kafka里面的數(shù)據(jù)叫消息秦叛。 按照磁盤順序來讀寫數(shù)據(jù) 通過多分區(qū)晦溪，多副本提供容錯(cuò)性。 分區(qū)內(nèi)有序讀取...

快樂大數(shù)據(jù)

快樂大數(shù)據(jù)第5次課 hive（1）工作原理Hive的執(zhí)行入口是Driver挣跋，執(zhí)行的SQL語句首先提交到Drive驅(qū)動(dòng)三圆，然后調(diào)用compiler解釋驅(qū)動(dòng)，最終解釋成MapRed...

快樂大數(shù)據(jù)

快樂大數(shù)據(jù)第四課 Mapreduce的優(yōu)化 1.Shuffle的過程 （1）每個(gè)Mag Task把輸出結(jié)果寫到內(nèi)存中的環(huán)形緩沖區(qū)；當(dāng)內(nèi)存環(huán)形緩沖區(qū)寫入的數(shù)據(jù)量達(dá)到一定 閾值時(shí)...

快樂大數(shù)據(jù)

（1）znode操作總結(jié) 首先 先在node01 node02 node03上分別重新啟動(dòng) 切換到hadoop用戶 第二步;在hadoop用戶下 舟肉，啟動(dòng)zookeeper的服...

快樂大數(shù)據(jù)

第0次課 子節(jié)點(diǎn)設(shè)置和網(wǎng)絡(luò)設(shè)置 在終端打開 （1）設(shè)置網(wǎng)絡(luò) vim /etc/sysconfig/network-scripts/ifcfg-eth0 ONBOOT=yes ...