發(fā)簡(jiǎn)信
IP屬地：廣東
-
Linux虛擬機(jī)（VMware）debian系統(tǒng)設(shè)置固定IP一般使用VMware開(kāi)啟Linux虛擬機(jī)常見(jiàn)的網(wǎng)絡(luò)類型有Bridge（橋接模式）负拟，NAT鸠信，Host-only（僅主機(jī)）3種嚷闭。 NAT：自動(dòng)分配I...
-
基于Flume+Log4j+Kafka的日志采集架構(gòu)方案本文將會(huì)介紹如何使用 Flume攒岛、log4j、Kafka進(jìn)行規(guī)范的日志采集胞锰。 Flume 基本概念 Flume是一個(gè)完善灾锯、強(qiáng)大的日志采集工具，關(guān)...
-
網(wǎng)易流計(jì)算服務(wù)化平臺(tái)架構(gòu)實(shí)踐
起筆之前 網(wǎng)易歷經(jīng)了 20 年的發(fā)展嗅榕，各業(yè)務(wù)線沉淀了豐富的數(shù)據(jù)顺饮。大數(shù)據(jù)平臺(tái)在滿足各業(yè)務(wù)線數(shù)據(jù)存儲(chǔ)、計(jì)算的任務(wù)凌那，同時(shí)承擔(dān)著整合集團(tuán)數(shù)據(jù)兼雄，為客戶提供...
-
Storm應(yīng)用系列之——集成Kafka
問(wèn)題導(dǎo)讀： Kafka集群中的Broker地址,有哪兩種方法指定? TransactionalTridentKafkaSpout的作用是什么？ ...
-
flume-ng+Kafka+Storm+HDFS 實(shí)時(shí)系統(tǒng)搭建問(wèn)題導(dǎo)讀： flume和kafka整合需要什么組件帽蝶？ flume-conf.properties需要做哪些修改赦肋？ kafka和storm的整合需...
-
flume-kafka-storm日志處理經(jīng)驗(yàn)
最近搞日志處理，注意是日志處理励稳，如果用流計(jì)算處理一些金融數(shù)據(jù)比如交易所的行情數(shù)據(jù)佃乘，是不能這么“粗魯”的，后者必須還考慮數(shù)據(jù)的完整性和準(zhǔn)確性驹尼。以下...
-
如何在Storm編程實(shí)現(xiàn)與Kafka的集成
問(wèn)題導(dǎo)讀 1.如何編程實(shí)現(xiàn)Storm與Kafka集成趣避？ 2.Storm中Topology如何實(shí)現(xiàn)的？ 3.如何驗(yàn)證集成效果新翎？ 一程帕、實(shí)現(xiàn)模型 數(shù)據(jù)...
-
大數(shù)據(jù)架構(gòu)：flume-ng+Kafka+Storm+HDFS 實(shí)時(shí)系統(tǒng)組合個(gè)人觀點(diǎn)：大數(shù)據(jù)我們都知道hadoop住练，但并不都是hadoop.我們?cè)撊绾螛?gòu)建大數(shù)據(jù)庫(kù)項(xiàng)目。對(duì)于離線處理愁拭，hadoop還是比較適合的澎羞，但是對(duì)于實(shí)...
-
基于Flume的日志收集系統(tǒng)(二)改進(jìn)和優(yōu)化轉(zhuǎn)自http://www.aboutyun.com/thread-8318-1-1.html 問(wèn)題導(dǎo)讀： 1.Flume的存在些什么問(wèn)題？ 2....