IP屬地：廣東
-
自定義分詞器
前言 es能夠?qū)崿F(xiàn)快速的全文搜索伍派，除了依賴其本身倒排索引的思想江耀，還依賴其分詞器 分析器 es本身內(nèi)置了一些常用的分析器(analyzer)诉植，分析...
-
awk與sed命令用法整理
awk awk是一種處理文本文件的語(yǔ)言祥国，在對(duì)數(shù)據(jù)分析并生成報(bào)告時(shí)晾腔，表現(xiàn)的十分強(qiáng)大舌稀，簡(jiǎn)單來(lái)說(shuō)awk就是八人間逐行的讀入,以空格為默認(rèn)分割符將每行切...
-
hive字段級(jí)別血緣實(shí)現(xiàn)
背## 背景 為便于hive表數(shù)據(jù)上下游的管理(評(píng)估邏輯變更的影響建车、快速追溯數(shù)據(jù)來(lái)源)扩借，需要構(gòu)建hive字段級(jí)別的數(shù)據(jù)血緣，hive本身提供提供...
-
jvm問(wèn)題排查寫(xiě)在前面 線上系統(tǒng)中：如果突然運(yùn)行緩慢潮罪，CPU 100%，以及Full GC次數(shù)過(guò)多的問(wèn)題领斥，最終導(dǎo)致的直觀現(xiàn)象就是系統(tǒng)運(yùn)行緩慢嫉到。本文主要針對(duì)系統(tǒng)...
-
akka編程demoAKKA akka基于actor模型月洛， 是一個(gè)用于構(gòu)建可擴(kuò)展的彈性的快速響應(yīng)的應(yīng)用程序的平臺(tái)何恶；actor模型：是一個(gè)并行計(jì)算模型嚼黔。 它把a(bǔ)cto...
-
spark Streaming 背壓實(shí)現(xiàn)（對(duì)接kafka）
本文的介紹以DirectDStream為例進(jìn)行介紹 啟動(dòng)sparkStreaming的背壓 涉及類 RateController: 背壓入口细层，了...
-
kylin cube優(yōu)化1. 查看相關(guān)統(tǒng)計(jì) 1.1 查看cuboid物化狀態(tài) 命令：./kylin.sh org.apache.kylin.engine.mr.comm...
-
kylin hbase遷移
一疫赎、背景 現(xiàn)kylin作為數(shù)據(jù)源提供報(bào)表支撐的場(chǎng)景持續(xù)增多盛撑，經(jīng)常出現(xiàn)查詢慢的問(wèn)題，為提高h(yuǎn)base支撐的穩(wěn)定性捧搞，同時(shí)可以應(yīng)對(duì)讀寫(xiě)組合的情況抵卫，考慮...
-
es寫(xiě)優(yōu)化
es寫(xiě)入流程 寫(xiě)入lucene緩存,此時(shí)數(shù)據(jù)不可見(jiàn),同時(shí)會(huì)寫(xiě)一份數(shù)據(jù)到translog; 如果此時(shí)寫(xiě)入成功,會(huì)將寫(xiě)請(qǐng)求轉(zhuǎn)發(fā)到對(duì)應(yīng)的副分片上. 到...