Sentry初識(shí) Sentry是適用于Hadoop生態(tài)環(huán)境昭伸、基于角色的授權(quán)管理系統(tǒng)奖亚，可以模塊化集成到HDFS寿桨、Hive嗜傅、Impala塞赂。它是一個(gè)策...

前篇主要介紹流式計(jì)算相關(guān)的核心概念错沃，這篇簡(jiǎn)要聊聊Flink總體架構(gòu)、運(yùn)行環(huán)境及其在大數(shù)據(jù)生態(tài)系統(tǒng)中的位置钮糖，讓大家先對(duì)Flink有整體認(rèn)知梅掠，便于后...

在大數(shù)據(jù)時(shí)代，流式計(jì)算越來(lái)越發(fā)揮著巨大的商業(yè)價(jià)值：業(yè)務(wù)分析人員能夠更及時(shí)洞察數(shù)據(jù)藐鹤，輔助做出更有效的決策；在萬(wàn)物互聯(lián)場(chǎng)景中赂韵，對(duì)海量無(wú)限數(shù)據(jù)集的處理...

0x01 背景 反壓概念在流式計(jì)算中非常流行娱节，要解決的問(wèn)題是短時(shí)間內(nèi)業(yè)務(wù)流量劇增，數(shù)據(jù)流入速度遠(yuǎn)高于數(shù)據(jù)處理速度祭示，會(huì)對(duì)流處理系統(tǒng)構(gòu)成巨大負(fù)載...

綜述 日志和監(jiān)控開(kāi)發(fā)人員工作中必不可少的兩只眼睛肄满，日志是為了快速定位排查故障，監(jiān)控是為了發(fā)現(xiàn)潛在問(wèn)題并能及時(shí)告警质涛，是故障診斷和分析的重要輔助利器...

0x01 前言 上篇文章Spark Streaming和Kafka集成深入淺出介紹了Spark Streaming的基本內(nèi)容及和kafka的集成...

寫(xiě)在前面 本文主要介紹Spark Streaming基本概念稠歉、kafka集成、Offset管理 本文主要介紹Spark Streaming基本概...

前言 上一篇<JStorm介紹>從架構(gòu)設(shè)計(jì)汇陆、計(jì)算模型上對(duì)jstorm做了系統(tǒng)化表述怒炸，讀后會(huì)對(duì)應(yīng)用場(chǎng)景、功能實(shí)現(xiàn)上有清晰明確的認(rèn)識(shí)毡代，建議沒(méi)有看過(guò)的...

一捏鱼、什么是Sqoop Sqoop是一個(gè)在結(jié)構(gòu)化數(shù)據(jù)和Hadoop之間進(jìn)行批量數(shù)據(jù)遷移的工具，結(jié)構(gòu)化數(shù)據(jù)可以是Mysql酪耕、Oracle等RDBMS...