以前的定時任務(wù)都是使用 for循環(huán)加 sleep 唉匾，這種偽裝的定時任務(wù) 有很大的局限性潮改，為了 更好的使用數(shù)據(jù)流傳輸 到 hdfs，我們在不借助工具的前提下 使用 scp ...
IP屬地：北京
-
關(guān)于 linux crontab 定時任務(wù)的一些思考 -
clickhouse 在hdfs 和本地推數(shù)據(jù)
CREATE TABLE test.democcc( id Int8, name String) ENGINE=Log; hadoop fs -cat /test001/zg...
-
spark創(chuàng)建maven工程創(chuàng)建scala目錄并編譯背景 我創(chuàng)建spark的maven工程的時候，在java目錄同級還創(chuàng)建了一個scala目錄勾怒。這就得考慮編譯相關(guān)的事了婆排。 解決 1、創(chuàng)建source folder 如下圖所示笔链，...
-
linux 查看負(fù)載和使用情況 top
top命令是看當(dāng)前進程的cpu和內(nèi)存等的占用情況 參數(shù)解析 對上面第三行的解釋： us（user cpu time）：用戶態(tài)使用的cpu時間比段只。該值較高時，說明用戶進程消耗的...
-
maven deploy上傳本地jar至nexus
maven deploy相關(guān)命令(樣例) mvn deploy:deploy-file -Dmaven.test.skip=true -Dfile=XCloudJDBC_v2...
-
docker的Data Volume（數(shù)據(jù)卷) 淺析
背景 最近自己寫一個dockerfile基于一個基礎(chǔ)的image坪创，但是基于這個基礎(chǔ)的image生成的容器里面有一層目錄有些多余炕婶，我想把它刪除掉。但是發(fā)現(xiàn)刪除不了莱预，報錯為can...
-
Jenkins 自動化構(gòu)建前言 這里只是講一些Jenkins基礎(chǔ)的使用情況 作用 jenkins的作用是把github或者gitlab等倉庫里的東西取出來柠掂，然后在jenkins容器中編譯打包，然后執(zhí)行...
-
elasticsearch的ingest node講解以及Pipeline和grok分析
參考資料https://blog.csdn.net/UbuntuTouch/article/details/99702199[https://blog.csdn.net/Ub...
-
Filebeat向Elasticsearch輸入log依沮，合并行
參考資料https://blog.csdn.net/qq_41154522/article/details/107283490[https://blog.csdn.net/q...
-
FileBeat向elasticsearch傳入數(shù)據(jù)涯贞，并使用GROK處理
背景 最近在搗鼓Filebeat監(jiān)聽springboot的日志然后將其傳入到es中枪狂。這個時候日志肯定要切分單獨字段存儲。這個時候用到了es自帶的ingest node pip...
