阿里p7，精通java, 中間件抖剿，分布式系統(tǒng)開發(fā)和架構(gòu)設(shè)計朽寞，豐富的java后端系統(tǒng)開發(fā)，設(shè)計和架構(gòu)經(jīng)驗斩郎，說句不要臉的話：踩過的坑比很多人走過的路還要多脑融！我在坑外等你！簡書宣言：不求深奧缩宜，但求實用吨掌！
IP屬地：北京
-
死磕源碼系列 - HashMap
本篇涉及的HashMap的源碼都是一些我想講的, 沒涉及到的都是不想講或不會的, 純學習記錄. 數(shù)據(jù)結(jié)構(gòu) 內(nèi)部字段 構(gòu)造函數(shù) 添加數(shù)據(jù) 數(shù)組擴容 查找數(shù)據(jù) 刪除數(shù)據(jù) 拓展問題...
-
ConcurrentHashMap解析
注：此文基于Android的ConcurrentHashMap講解ConcurrentHashMap之前膜宋，我先花點篇幅講解下CAS的機制思想，因為ConcurrentHash...
-
[轉(zhuǎn)] 探索 ConcurrentHashMap 高并發(fā)實現(xiàn)機制簡介 ConcurrentHashMap 是 Java concurrent 包的重要成員炼幔。本文將結(jié)合 Java 內(nèi)存模型秋茫，來分析 ConcurrentHashMap 的 J...
-
Kafka源碼分析-Consumer（1）-設(shè)計原理
一.KafkaConsumer的使用例子： 消費者從Kafka服務(wù)端拉取消息，并交給業(yè)務(wù)邏輯進行處理乃秀。KafkaConsumer的API很友好肛著，開發(fā)人員不用關(guān)心與Kafka服...
-
Kafka源碼分析-網(wǎng)絡(luò)層-1在享用了這么久kafka提供的各種福利后, 咱們也來精進一下,看看kafka的各部分實現(xiàn),知其然也知一點所以然; 題目起得有點大,其實完全是臨時起意,希望能堅持下去; 本身其...
-
目前從事大數(shù)據(jù)開發(fā)工作耀态，使用語言java、scala和python
-
一文通俗理解Spark架構(gòu)暂雹、Spark部署方式首装、配屬配置優(yōu)先級、Spark處理所提交的application的流程杭跪、Spark共享變量仙逻、Spark監(jiān)聽驰吓，以及master、driver系奉、worke...Spark是一種基于內(nèi)存計算的計算引擎（通俗地說就是計算速度快）檬贰，由于其可以將計算的中間結(jié)果存放在內(nèi)存中，因此非常適合于迭代計算和交互式查詢喜最。 一偎蘸、Spark的四大核心組件和...
-
spark向kafka寫入數(shù)據(jù)(轉(zhuǎn))
前言 在WeTest輿情項目中，需要對每天千萬級的游戲評論信息進行詞頻統(tǒng)計瞬内，在生產(chǎn)者一端迷雪，我們將數(shù)據(jù)按照每天的拉取時間存入了Kafka當中，而在消費者一端虫蝶，我們利用了spar...
-
實力來自點點滴滴的積累溪胶，專注原創(chuàng)搂擦，分享大數(shù)據(jù)技術(shù)。
-
ELK是三個開源軟件的縮寫，分別表示：Elasticsearch , Logstash, Kibana , 它們都是開源軟件懒熙。新增了一個FileBeat丘损，它是一個輕量級的日志收集處理工具(Agent)，F(xiàn)ilebeat占用資源少工扎，適合于在各個服務(wù)器上搜集日志后傳輸給Logstash，官方也推薦此工具衔蹲。 Elasticsearch是個開源分布式搜索引擎肢娘，提供搜集呈础、分析、存儲數(shù)據(jù)三大功能橱健。它的特點有：分布式而钞，零配置，自動發(fā)現(xiàn)拘荡，索引自動分片臼节，索引副本機制，restful風格接口珊皿，多數(shù)據(jù)源网缝，自動搜索負載等。 Logstash 主要是用來日志的搜集蟋定、分析粉臊、過濾日志的工具，支持大量的數(shù)據(jù)獲取方式驶兜。一般工作方式為c/s架構(gòu)扼仲，client端安裝在需要收集日志的主機上，server端負責將收到的各節(jié)點日志進行過濾抄淑、修改等操作在一并發(fā)往elasticsearch上去屠凶。 Kibana 也是一個開源和免費的工具，Kibana可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面肆资，可以幫助匯總矗愧、分析和搜索重要數(shù)據(jù)日志。 Filebeat隸屬于Beats迅耘。目前Beats包含四種工具： Packetbeat（搜集網(wǎng)絡(luò)流量數(shù)據(jù)） Topbeat（搜集系統(tǒng)贱枣、進程和文件系統(tǒng)級別的 CPU 和內(nèi)存使用情況等數(shù)據(jù)） Filebeat（搜集文件數(shù)據(jù)） Winlogbeat（搜集 Windows 事件日志數(shù)據(jù)）
