前言 因?yàn)閏dh版本更新頻率較快匠璧，各個(gè)小版本之間變化可能不是很大，但是Cloudera公司的每一次更新帶來(lái)的都是bug的修復(fù)令野，技術(shù)的革新焰枢。相較于我們公司生產(chǎn)上還是cdh5.9...
發(fā)簡(jiǎn)信
IP屬地：浙江
-
CM和CDH升級(jí)操作手冊(cè) -
presto升級(jí)操作文檔1蚓峦、前言 由于presto基于內(nèi)存計(jì)算，相比較與hive（on spark）有更好的交互查詢體驗(yàn)医咨，組織決定使用presto作為主要的交互查詢工具枫匾，hive作為跑批使用。有個(gè)問(wèn)...
-
Spark Streaming-Streaming Join 實(shí)現(xiàn)梳理
當(dāng)前Spark Streaming-Streaming Join只支持： InnerJoin; LeftJoin; RightJoin; 整體思路 將Join的條件分為：pr...
-
Spark Streaming Join
多數(shù)據(jù)源Join思路多數(shù)據(jù)源Join大致有以下三種思路： 數(shù)據(jù)源端Join拟淮，如Android/IOS客戶端在上報(bào)用戶行為數(shù)據(jù)時(shí)就獲取并帶上用戶基礎(chǔ)信息干茉。 計(jì)算引擎上Join,...
-
Apache Flink 源碼解析（一）(Legacy mode已廢棄)入口，bash腳本概述 因?yàn)樽约涸陂喿x源碼的過(guò)程中曾經(jīng)遇到過(guò)很多問(wèn)題很泊，現(xiàn)在稍微有一點(diǎn)點(diǎn)的經(jīng)驗(yàn)希望分享給很多從零開(kāi)始的人角虫。Apache的項(xiàng)目代碼量很大，很難做到徹底通讀委造，我也是一步一步的先從整體...
-
漫談加持Blink的Flink和Spark
前言 今天朋友圈有篇【阿里技術(shù)】發(fā)的文章戳鹅，說(shuō)Blink的性能如何強(qiáng)悍，功能現(xiàn)在也已經(jīng)比較完善昏兆。譬如： Blink 在 TPC-DS 上和 Spark 相比有著非常明顯的性能優(yōu)...
-
Spark Streaming 1.6 流式狀態(tài)管理分析
Spark 1.6發(fā)布后枫虏，官方聲稱流式狀態(tài)管理有10倍性能提升。這篇文章會(huì)詳細(xì)介紹Spark Streaming里新的流式狀態(tài)管理爬虱。 關(guān)于狀態(tài)管理 在流式計(jì)算中隶债，數(shù)據(jù)是持續(xù)不...
