思路：讀入數(shù)據(jù)時聘裁，用flatMap算子過濾出PV（即PageVisit）的一條條的數(shù)據(jù)赴叹，在process算子中不翩，用set對用戶的id作去重兵扬，從而set的size即UV（Use...
IP屬地：廣東
-
用flink算UV（UserVisit）數(shù)~即獨立訪客數(shù) -
-
reduceopen方法只和并行度有關(guān)器钟，并行度為幾，則open執(zhí)行幾次： 修改代碼妙蔗，把并行度設(shè)為3傲霸，在reduce方法中輸出value1，value2的值： id相同的首條記錄眉反，不調(diào)用r...
-
flink的鍵控流轉(zhuǎn)換算子輸入文件： min算子 輸入輸出之對照： Reduce算子 為了排除并行度帶來的影響昙啄，先把并行度設(shè)置為1： 如下兩圖，分別是 關(guān)鍵邏輯 和 輸出結(jié)果與輸入文件的對比： 另外寸五，...
-
-
鵝廠全棧程序員梳杏，沒事整點兒項目<br>公眾號 & 全網(wǎng)ID『程序員魚皮』<br>作品：編程導(dǎo)航 www.code-nav.cn
-
-
flink的local-cluster模式Flink中的Local-cluster(本地集群)模式,主要用于測試韧拒、學(xué)習(xí)，可幫助我們快速入門flink十性。 1）local-cluster模式配置 local-cluste...
-
flink的per-job模式啟動hdfs及yarn叛溢、zk后： 啟動yarn的per job： 在yarn的web頁面觀察： 輸入測試數(shù)據(jù)： 在flink的web頁面觀察：
-
hive on yarn的高可用啟動hdfs及yarn： 配置yarn，最多重啟RM 4次： 修改flink-conf.yaml ： 如下圖劲适，kill了hadoop102的JobManager后楷掉，flink...
-
PushConsumer和PullConsumer等Push 如下圖，讀到了很多歷史數(shù)據(jù)： 即時發(fā)2條消息： 即時收到2條消息： Pull DefaultLitePullConsumer
-
rocketMQ的同步/異步生產(chǎn)者1）集群信息 如下四圖靖诗，展示了集群的主要信息（為方便起見郭怪，只有一個broker，且系單副本）： 2）同步的生產(chǎn)者 消費者代碼： 生產(chǎn)者代碼： 消費者運行結(jié)果（先運行生產(chǎn)者刊橘，再...
-
-
資源管理選yarn促绵，微批計算用spark攒庵，兩者結(jié)合棒棒噠1）hadoop的1.x、2.x版本 如下圖败晴，1.x的hadoop浓冒，資源調(diào)度和任務(wù)調(diào)度耦合在一起，無法擴(kuò)展——自然就無法與spark結(jié)合尖坤。 而2.x的hadoop稳懒，把資源調(diào)度...
-
flink基礎(chǔ)Apache Flink是一個框架和分布式處理引擎场梆，用于對無界和有界數(shù)據(jù)流進(jìn)行有狀態(tài)計算纯路。Flink被設(shè)計在所有常見的集群環(huán)境中運行，以內(nèi)存執(zhí)行速度和任意規(guī)模來執(zhí)行計算顶岸。 本...
