前言 今天 Review 了一下同事的代碼，發(fā)現(xiàn)其代碼中有非常多的 mapPartitions,問(wèn)其原因裳朋，他說(shuō)性能比 map 更好欺旧。我說(shuō)為什么性能好呢再层？于是就有了這篇文章 網(wǎng)...
發(fā)簡(jiǎn)信
IP屬地：河北
-
Spark系列——關(guān)于 mapPartitions的誤區(qū)
-
TCP協(xié)議詳解為什么會(huì)有TCP/IP協(xié)議 在世界上各地销钝，各種各樣的電腦運(yùn)行著各自不同的操作系統(tǒng)為大家服務(wù)央碟，這些電腦在表達(dá)同一種信息的時(shí)候所使用的方法是千差萬(wàn)別寒波。就好像圣經(jīng)中上帝打亂了各地人...
-
pythonFlask框架學(xué)習(xí)Flask是由python實(shí)現(xiàn)的一個(gè)web微框架鞋真，讓我們可以使用Python語(yǔ)言快速實(shí)現(xiàn)一個(gè)網(wǎng)站或Web服務(wù)崇堰。而且有對(duì)應(yīng)的python3及python2版本。首先這邊選擇的是...
-
-
一饵较、Socket技術(shù)詳解Socket原理 １拍嵌、什么是Socket 在計(jì)算機(jī)通信領(lǐng)域，socket 被翻譯為“套接字”循诉，它是計(jì)算機(jī)之間進(jìn)行通信的一種約定或一種方式横辆。通過(guò) socket 這種約定，一臺(tái)計(jì)...
-
當(dāng)ES向logstash發(fā)出reject
背景：使用了自定義插件之后打洼，出現(xiàn)了數(shù)據(jù)無(wú)法寫入es的問(wèn)題。 查看日志后發(fā)現(xiàn)如下信息： 查閱相關(guān)資料逆粹，了解到出現(xiàn)"es_rejected_execution_exception...
-
logstash插件
背景：由于需要將探針數(shù)據(jù)中的服務(wù)器位置信息等數(shù)據(jù)可能是錯(cuò)誤的募疮，而我們自己有相對(duì)準(zhǔn)確的數(shù)據(jù)，所以要自己來(lái)把這些信息附加到探針數(shù)據(jù)中僻弹。對(duì)于這個(gè)需求阿浓，最高效的做法應(yīng)該就是自己開發(fā)l...
-
es故障：‘index [xxx] blocked by :[FORBIDDEN/12/index read-only / allow delete (api)];’
故障描述：檢查es索引發(fā)現(xiàn)幾個(gè)大索引在半夜停了，查看redis發(fā)現(xiàn)已經(jīng)被撐爆內(nèi)存重啟過(guò)了蹋绽。集群狀態(tài)為紅色芭毙，logstash日志顯示： 檢查各臺(tái)服務(wù)器筋蓖，發(fā)現(xiàn)有幾臺(tái)服務(wù)器磁盤使用...
-
自定義logstash geoip filter使用的mmdb文件
自定義logstash geoip filter使用的mmdb文件 Python 源碼 logstash 配置 相關(guān)源碼 logstash的GeoIp過(guò)濾器源碼地址：http...
-
logstash filter 自定義插件開發(fā) 全步驟一.理論信息 1. 使用logstash自帶命令生成插件模版 bin/logstash-plugin generate --type filter --name tes...
-
學(xué)習(xí)ruby
背景：這兩天因?yàn)橐鰈ogstash插件，所以需要學(xué)習(xí)一下ruby才能看懂這些插件的源碼退敦。 看了兩天ruby的語(yǔ)法文檔粘咖，ruby的語(yǔ)法很多地方都可以讓我聯(lián)想到其他的一些語(yǔ)言或...
-
ElasticSearch 5.X 最佳實(shí)踐
Author: 袁野Date: 2018.01.05Version: 1.0 注意事項(xiàng)：本文檔所述為通用情況例证，不可作為特定業(yè)務(wù)參照路呜；本文檔所述適用于 ELK 棧中的 Elas...
-
前阿里大數(shù)據(jù)SRE資深運(yùn)維屌絲胀葱，熟悉分布式存儲(chǔ)及數(shù)據(jù)同步。喜歡手游烦感、旅游巡社、尬酒，以及各種重口味恐怖片手趣。<br>微信：yaoyaminaco
