阿里p7瀑踢，精通java, 中間件擂啥，分布式系統(tǒng)開發(fā)和架構(gòu)設(shè)計(jì)哄陶，豐富的java后端系統(tǒng)開發(fā)，設(shè)計(jì)和架構(gòu)經(jīng)驗(yàn)哺壶，說句不要臉的話：踩過的坑比很多人走過的路還要多屋吨！我在坑外等你！簡書宣言：不求深?yuàn)W山宾，但求實(shí)用至扰！
IP屬地：北京
-
死磕源碼系列 - HashMap
本篇涉及的HashMap的源碼都是一些我想講的, 沒涉及到的都是不想講或不會(huì)的, 純學(xué)習(xí)記錄. 數(shù)據(jù)結(jié)構(gòu) 內(nèi)部字段 構(gòu)造函數(shù) 添加數(shù)據(jù) 數(shù)組擴(kuò)容 查找數(shù)據(jù) 刪除數(shù)據(jù) 拓展問題...
-
ConcurrentHashMap解析
注：此文基于Android的ConcurrentHashMap講解ConcurrentHashMap之前渊胸，我先花點(diǎn)篇幅講解下CAS的機(jī)制思想，因?yàn)镃oncurrentHash...
-
[轉(zhuǎn)] 探索 ConcurrentHashMap 高并發(fā)實(shí)現(xiàn)機(jī)制簡介 ConcurrentHashMap 是 Java concurrent 包的重要成員台妆。本文將結(jié)合 Java 內(nèi)存模型翎猛，來分析 ConcurrentHashMap 的 J...
-
Kafka源碼分析-Consumer（1）-設(shè)計(jì)原理
一.KafkaConsumer的使用例子： 消費(fèi)者從Kafka服務(wù)端拉取消息，并交給業(yè)務(wù)邏輯進(jìn)行處理接剩。KafkaConsumer的API很友好切厘，開發(fā)人員不用關(guān)心與Kafka服...
-
Kafka源碼分析-網(wǎng)絡(luò)層-1在享用了這么久kafka提供的各種福利后, 咱們也來精進(jìn)一下,看看kafka的各部分實(shí)現(xiàn),知其然也知一點(diǎn)所以然; 題目起得有點(diǎn)大,其實(shí)完全是臨時(shí)起意,希望能堅(jiān)持下去; 本身其...
-
目前從事大數(shù)據(jù)開發(fā)工作途蒋，使用語言java、scala和python
-
一文通俗理解Spark架構(gòu)馋记、Spark部署方式号坡、配屬配置優(yōu)先級(jí)、Spark處理所提交的application的流程梯醒、Spark共享變量宽堆、Spark監(jiān)聽，以及master茸习、driver畜隶、worke...Spark是一種基于內(nèi)存計(jì)算的計(jì)算引擎（通俗地說就是計(jì)算速度快），由于其可以將計(jì)算的中間結(jié)果存放在內(nèi)存中，因此非常適合于迭代計(jì)算和交互式查詢籽慢。 一浸遗、Spark的四大核心組件和...
-
spark向kafka寫入數(shù)據(jù)(轉(zhuǎn))
前言 在WeTest輿情項(xiàng)目中，需要對(duì)每天千萬級(jí)的游戲評(píng)論信息進(jìn)行詞頻統(tǒng)計(jì)嗡综，在生產(chǎn)者一端，我們將數(shù)據(jù)按照每天的拉取時(shí)間存入了Kafka當(dāng)中杜漠，而在消費(fèi)者一端极景，我們利用了spar...
-
實(shí)力來自點(diǎn)點(diǎn)滴滴的積累，專注原創(chuàng)装盯，分享大數(shù)據(jù)技術(shù)坷虑。
-
ELK是三個(gè)開源軟件的縮寫迄损，分別表示：Elasticsearch , Logstash, Kibana , 它們都是開源軟件。新增了一個(gè)FileBeat账磺，它是一個(gè)輕量級(jí)的日志收集處理工具(Agent)海蔽，F(xiàn)ilebeat占用資源少，適合于在各個(gè)服務(wù)器上搜集日志后傳輸給Logstash绑谣，官方也推薦此工具党窜。 Elasticsearch是個(gè)開源分布式搜索引擎，提供搜集借宵、分析幌衣、存儲(chǔ)數(shù)據(jù)三大功能。它的特點(diǎn)有：分布式，零配置豁护，自動(dòng)發(fā)現(xiàn)哼凯，索引自動(dòng)分片，索引副本機(jī)制楚里，restful風(fēng)格接口断部，多數(shù)據(jù)源，自動(dòng)搜索負(fù)載等班缎。 Logstash 主要是用來日志的搜集蝴光、分析、過濾日志的工具达址，支持大量的數(shù)據(jù)獲取方式蔑祟。一般工作方式為c/s架構(gòu)，client端安裝在需要收集日志的主機(jī)上沉唠，server端負(fù)責(zé)將收到的各節(jié)點(diǎn)日志進(jìn)行過濾疆虚、修改等操作在一并發(fā)往elasticsearch上去。 Kibana 也是一個(gè)開源和免費(fèi)的工具满葛，Kibana可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面径簿，可以幫助匯總、分析和搜索重要數(shù)據(jù)日志嘀韧。 Filebeat隸屬于Beats牍帚。目前Beats包含四種工具： Packetbeat（搜集網(wǎng)絡(luò)流量數(shù)據(jù)） Topbeat（搜集系統(tǒng)、進(jìn)程和文件系統(tǒng)級(jí)別的 CPU 和內(nèi)存使用情況等數(shù)據(jù)） Filebeat（搜集文件數(shù)據(jù)） Winlogbeat（搜集 Windows 事件日志數(shù)據(jù)）
