IP屬地：上海
-
Kafka 的認(rèn)證機(jī)制Kafka 認(rèn)證機(jī)制 自 0.9.0.0 版本開(kāi)始，Kafka 正式引入了認(rèn)證機(jī)制骚腥，用于實(shí)現(xiàn)基礎(chǔ)的安全用戶認(rèn)證鳍置，這是將 Kafka 上云或進(jìn)行多...
-
Flume Taildir Source源碼修改---監(jiān)聽(tīng)目錄
一晒骇、需求 flume taildir源碼只支持監(jiān)控一級(jí)目錄下的文件总寻，能不能支持監(jiān)聽(tīng)子目錄下的所有文件flume版本:1.9.0 二泉粉、思路 源碼中...
-
CDH 6.3.1 rpm+http安裝部署
一膨俐、準(zhǔn)備工作 1.離線部署主要分為三塊: a.MySQL離線部署 b.CM離線部署 c.Parcel?件離線源部署 2.規(guī)劃 3.下載源 支持的...
-
Spark Streaming 狀態(tài)管理算子的選擇比較
一缩歪、updateStateByKey 官方原話: 也即是說(shuō)它會(huì)統(tǒng)計(jì)全局的key的狀態(tài)归薛，就算沒(méi)有數(shù)據(jù)輸入，它也會(huì)在每一個(gè)批次的時(shí)候返回之前的key...
-
Spark Streaming 從指定時(shí)間戳開(kāi)始消費(fèi) kafka 數(shù)據(jù)
一驶冒、需求 從指定時(shí)間戳（比如 2 小時(shí)前）開(kāi)始消費(fèi) Kafka 數(shù)據(jù) 二苟翻、思路 我們知道通過(guò) Kafka 的 API 可以得到指定時(shí)間戳對(duì)應(yīng)數(shù)據(jù)...
-
CDK &CDS 安裝
一、下載安裝包 http://archive.cloudera.com/kafka/parcels/4.1.0/ http://archive....
-
kafka單機(jī)安裝部署
一骗污、環(huán)境準(zhǔn)備 kafka-2.2.1-kafka4.1.0.tar.gz 已經(jīng)安裝好zookeeper環(huán)境 kafka-eagle-bin-1....
-
hadoop,spark中使用lzo
一崇猫、環(huán)境準(zhǔn)備 hadoop-2.6.0-cdh5.15.1并支持壓縮(參考:hadoop安裝文檔) lzo jar包(下載地址:lzo jar下...
-
Azkaban安裝部署及使用一、介紹 Azkaban是LinkedIn開(kāi)源的任務(wù)調(diào)度框架需忿，類似于JavaEE中的JBPM和Activiti工作流框架.如ETL的過(guò)程诅炉，Sqo...