發(fā)簡信
IP屬地：廣東
-
Linux虛擬機（VMware）debian系統(tǒng)設(shè)置固定IP一般使用VMware開啟Linux虛擬機常見的網(wǎng)絡(luò)類型有Bridge（橋接模式），NAT攒钳，Host-only（僅主機）3種仰坦。 NAT：自動分配I...
-
基于Flume+Log4j+Kafka的日志采集架構(gòu)方案本文將會介紹如何使用 Flume、log4j捂齐、Kafka進行規(guī)范的日志采集慧脱。 Flume 基本概念 Flume是一個完善酬滤、強大的日志采集工具镜廉，關(guān)...
-
網(wǎng)易流計算服務(wù)化平臺架構(gòu)實踐
起筆之前 網(wǎng)易歷經(jīng)了 20 年的發(fā)展弄诲，各業(yè)務(wù)線沉淀了豐富的數(shù)據(jù)。大數(shù)據(jù)平臺在滿足各業(yè)務(wù)線數(shù)據(jù)存儲娇唯、計算的任務(wù)齐遵，同時承擔(dān)著整合集團數(shù)據(jù)，為客戶提供...
-
Storm應(yīng)用系列之——集成Kafka
問題導(dǎo)讀： Kafka集群中的Broker地址,有哪兩種方法指定? TransactionalTridentKafkaSpout的作用是什么视乐？ ...
-
flume-ng+Kafka+Storm+HDFS 實時系統(tǒng)搭建問題導(dǎo)讀： flume和kafka整合需要什么組件洛搀？ flume-conf.properties需要做哪些修改敢茁？ kafka和storm的整合需...
-
flume-kafka-storm日志處理經(jīng)驗
最近搞日志處理佑淀，注意是日志處理，如果用流計算處理一些金融數(shù)據(jù)比如交易所的行情數(shù)據(jù)彰檬，是不能這么“粗魯”的伸刃，后者必須還考慮數(shù)據(jù)的完整性和準確性。以下...
-
如何在Storm編程實現(xiàn)與Kafka的集成
問題導(dǎo)讀 1.如何編程實現(xiàn)Storm與Kafka集成逢倍？ 2.Storm中Topology如何實現(xiàn)的捧颅？ 3.如何驗證集成效果？ 一较雕、實現(xiàn)模型 數(shù)據(jù)...
-
大數(shù)據(jù)架構(gòu)：flume-ng+Kafka+Storm+HDFS 實時系統(tǒng)組合個人觀點：大數(shù)據(jù)我們都知道hadoop碉哑，但并不都是hadoop.我們該如何構(gòu)建大數(shù)據(jù)庫項目。對于離線處理亮蒋，hadoop還是比較適合的扣典，但是對于實...
-
基于Flume的日志收集系統(tǒng)(二)改進和優(yōu)化轉(zhuǎn)自http://www.aboutyun.com/thread-8318-1-1.html 問題導(dǎo)讀： 1.Flume的存在些什么問題？ 2....