9篇文章 · 15982字 · 1人關(guān)注
-
基于Sentry實現(xiàn)數(shù)據(jù)訪問權(quán)限控制Sentry初識 Sentry是適用于Hadoop生態(tài)環(huán)境瑟匆、基于角色的授權(quán)管理系統(tǒng)，可以模塊化集成到HDFS栽惶、Hive愁溜、Impala。它是一個策...
-
關(guān)于JStorm反壓兩三事
0x01 背景 反壓概念在流式計算中非常流行外厂，要解決的問題是短時間內(nèi)業(yè)務(wù)流量劇增冕象，數(shù)據(jù)流入速度遠高于數(shù)據(jù)處理速度，會對流處理系統(tǒng)構(gòu)成巨大負載...
-
大數(shù)據(jù)監(jiān)控平臺實踐之路
綜述 日志和監(jiān)控開發(fā)人員工作中必不可少的兩只眼睛汁蝶，日志是為了快速定位排查故障渐扮，監(jiān)控是為了發(fā)現(xiàn)潛在問題并能及時告警论悴，是故障診斷和分析的重要輔助利器...
-
再談Spark Streaming Kafka反壓
0x01 前言 上篇文章Spark Streaming和Kafka集成深入淺出介紹了Spark Streaming的基本內(nèi)容及和kafka的集成...
-
Spark Streaming和Kafka集成深入淺出
寫在前面 本文主要介紹Spark Streaming基本概念、kafka集成墓律、Offset管理 本文主要介紹Spark Streaming基本概...
-
JStorm kafka集成解析
前言 上一篇<JStorm介紹>從架構(gòu)設(shè)計膀估、計算模型上對jstorm做了系統(tǒng)化表述，讀后會對應(yīng)用場景耻讽、功能實現(xiàn)上有清晰明確的認識察纯，建議沒有看過的...
-
Kafka Producer可靠性淺析
本文主要介紹kafka producer的可靠性，包括ack针肥、batch饼记、重試機制等 消息發(fā)布 KafkaProducer的send是異步發(fā)...
-
Sqoop最佳實踐
一、什么是Sqoop Sqoop是一個在結(jié)構(gòu)化數(shù)據(jù)和Hadoop之間進行批量數(shù)據(jù)遷移的工具慰枕，結(jié)構(gòu)化數(shù)據(jù)可以是Mysql具则、Oracle等RDBMS...
-
Redis在大數(shù)據(jù)中的應(yīng)用
導(dǎo)讀 redis是一個基于內(nèi)存的key-value數(shù)據(jù)庫，相對關(guān)系型數(shù)據(jù)庫支持的數(shù)據(jù)結(jié)構(gòu)更豐富具帮，而且操作封裝的非常簡單易用博肋。redis也支持主從...
