slowrabbit

Scala Spark使用 特殊引用 使用比如hive sql或者rdd轉(zhuǎn)換toDF是通過隱式轉(zhuǎn)換靠欢，需要增加相關(guān)的包引用1 hive sql： import spark.sq...

slowrabbit

背景 在基于hadoop 集群的spark2環(huán)境中，使用python編寫任務(wù)门怪。groupByKeys后骡澈，對value進(jìn)行處理的時候掷空，處理函數(shù)fun需要一個參數(shù)肋殴。傳入后坦弟，使用s...

slowrabbit

現(xiàn)象 今天寫好logstash后（kafka-》 logstash -》kafka ），本地測試OK后减拭，上線后，瘋狂重啟拧粪，錯誤日志如下(沒有什么用)： 使用版本 os：Cen...

slowrabbit

開發(fā)軟件指pycharm？cpu過高可霎，一般是有大量計算，檢查下邏輯呢

Mac多python版本環(huán)境搭建

參考：mac下使用pyenv,pyenv-virtualenv治理python的多個版本Mac OSX 下使用pythonbrew安裝zlib 報ImportError: N...

slowrabbit

3084 2 1

slowrabbit

pyspark 使用總結(jié) 配置 SparkContext SparkSession配置初始化 導(dǎo)入 sc從文本導(dǎo)入 從csv導(dǎo)入 1.1版本： 這種方式需要在運(yùn)行的時候添加-...

slowrabbit

聽著趙雷的《成都》拾因，在最后90后和18歲說再見的時候，依依不舍地和2017說再見旷余。。正卧。 工作 傍晚和前同事一起吃飯蠢熄，吃飯的地點(diǎn)是前公司附近的購物中心炉旷∏┛祝回家在公交車看兩旁的街景...

slowrabbit

好問題饥追，同時不好意思沒有注意到消息，晚回復(fù)了罐盔。
logstash默認(rèn)是掃描1天內(nèi)的文件，如果比如設(shè)定3天內(nèi)的內(nèi)容翘骂，可以ignore_older改成3 * 24 * 60 * 60壁熄，下面是一個實(shí)例帚豪，請參考~
input {
file {
path => "/var/log/*"
exclude => "*.gz" # 排除壓縮文件
start_position => beginning # 老文件需要處理的話碳竟，設(shè)置這個
ignore_older => 86400 # 1 day
}
}

ELK 5.1部署

ELK已經(jīng)升級到6了，希望使用6的同學(xué)莹桅，可以查看Ken同學(xué)的這篇文章 參考：ELK部署詳解centos7虛擬機(jī)安裝elasticsearch5.0.x-安裝篇logstash...

slowrabbit

1559 2 7

slowrabbit

Design Microservices Architecture for Failures這是在hacknoon看到一篇微服務(wù)的文章，里面應(yīng)對異常的方案非常好诈泼，所以提取要點(diǎn)...

slowrabbit

ELK已經(jīng)升級到6了铆遭，希望使用6的同學(xué)，可以查看Ken同學(xué)的這篇文章 參考：ELK部署詳解centos7虛擬機(jī)安裝elasticsearch5.0.x-安裝篇logstash...

slowrabbit

目的 算算玩了Django也好長時間了枚荣，從開始對模板的一無所知，但現(xiàn)在也可以將bootstrap嵌入到Django中了邢疙，記錄下整個過程棍弄，對于自己是一次總結(jié)疟游，希望也能對開始使用...

slowrabbit

一年又一年，匆匆2016颁虐。蛮原。。迷惘另绩，選擇儒陨，重新上路花嘶。 理性 到2016年7月，我已經(jīng)工作四年了蹦漠。我努力過椭员、堅(jiān)持過笛园，更糾結(jié)過隘击、掙扎過。收獲了很多埋同，但也隱忍了很多。記得5月提離職...

slowrabbit

Q:Why is it hard to understand what people are talking in TV Series?A:People often mumb...

slowrabbit

我們經(jīng)常會討論鼻百，如果時光倒回十年，我們希望當(dāng)初的自己能夠更早地明白一些道理摆尝。網(wǎng)絡(luò)上也有各種各樣的版本温艇。今晚將我看過的最美的英文版本整理后分享給大家。 關(guān)于職場 Don’t w...