有時(shí)候有沒有這么一種情況，我拿到了一個(gè)sql,csv,parquet文件柠偶，一起來就想寫sql，不想寫那些亂七八糟的的東西抖部，只是想快速實(shí)現(xiàn)我要的聚合查詢數(shù)據(jù)淫痰。那么我們可以利用s...
發(fā)簡(jiǎn)信
IP屬地：廣東
-
Spark - SQL查詢文件數(shù)據(jù) -
你們還在用 Scala元組Tuple234..? Outer啦為什么這么說呢把介，難道我自己多年使用的方式錯(cuò)了嘛暑刃，是的厢漩，你沒錯(cuò)，我錯(cuò)了岩臣，哈哈溜嗜，主要原因是使用Tuple的時(shí)候容易搞錯(cuò)對(duì)象，Tuple2的時(shí)候還知道第一個(gè)參數(shù)跟第二個(gè)參數(shù)的意思架谎，...
-
Elasticsearch - token分析過程有時(shí)候我們?cè)谑褂肊s作為搜索分析的時(shí)候,得出的結(jié)果并不是我們想要的,這時(shí)候我們會(huì)查詢一下Es會(huì)怎么拆解我們的字符炸宵，這里就可以用到Es的_analyze查看一下分解的token...
-
Gradle - 打包上傳Maven倉(cāng)庫(kù)打包步驟 生成gpg密鑰 上傳公鑰到兩臺(tái)服務(wù)器上keys.gnupg.net 與 keyserver.ubuntu.com ~/.gradle/gradle.properti...
-
Hbase BulkLoad用法要導(dǎo)入大量數(shù)據(jù)，Hbase的BulkLoad是必不可少的谷扣，在導(dǎo)入歷史數(shù)據(jù)的時(shí)候土全，我們一般會(huì)選擇使用BulkLoad方式，我們還可以借助Spark的計(jì)算能力將數(shù)據(jù)快速地導(dǎo)入抑钟。 ...
-
-
Scala - 反射動(dòng)態(tài)創(chuàng)建方法有時(shí)候我們想定義一個(gè)字符串的方法篱蝇，然后通過scala的動(dòng)態(tài)創(chuàng)建class贺待，然后反射調(diào)用方法，在很多情景下是在學(xué)有用的零截，比較動(dòng)態(tài)自定義spark的mapParations麸塞，當(dāng)然...
-
Gitlab - 清除commit節(jié)省空間
在gitlab項(xiàng)目中，使用了太久的項(xiàng)目會(huì)有很多的提交涧衙，項(xiàng)目非常地大哪工，如何清空項(xiàng)目以前的提交呢奥此？又能保證現(xiàn)在文件不受影響，這里提供一個(gè)思路及解決方案雁比，就是使用一個(gè)新創(chuàng)建的分支來...
-
Java - VisualVM 安裝 plugins Visual GC
在Java VisualVM這款java性能分析及調(diào)優(yōu)工具如何加載插件稚虎？比如漂亮的Visual GC，大豬我比較喜歡這款漂亮的姑娘偎捎，當(dāng)然了蠢终，如果覺得這是阻止了小伙伴們的進(jìn)步，...
-
-
Hbase - 表導(dǎo)出CSV數(shù)據(jù)新鮮文章茴她，昨天剛經(jīng)過線上驗(yàn)證過的寻拂，使用它導(dǎo)出了3億的用戶數(shù)據(jù)出來，花了半個(gè)小時(shí)丈牢，性能還是穩(wěn)穩(wěn)的兜喻，好了不吹牛皮了，直接上代碼吧赡麦。 MR 考查了Hbase的各種MR朴皆，沒有發(fā)現(xiàn)哪一...
-
Selenium 自動(dòng)化操作今天分享一個(gè)超有意思的東西 Selenium 自動(dòng)化測(cè)試/調(diào)式工具。 Selenium 就像真實(shí)用戶所做的一樣泛粹，Selenium 測(cè)試可以在 Windows遂铡、Linux 和 ...
-
Java - 遞歸所有日志文件
需求，遞歸輸出某個(gè)目錄下的所有日志文件晶姊，我們可以使用commons-io進(jìn)行處理扒接，避免重復(fù)造輪子。 使用 依賴 測(cè)試
-
Elasticsearch - token分析過程
有時(shí)候我們?cè)谑褂肊s作為搜索分析的時(shí)候,得出的結(jié)果并不是我們想要的,這時(shí)候我們會(huì)查詢一下Es會(huì)怎么拆解我們的字符们衙，這里就可以用到Es的_analyze查看一下分解的token...
-
Gradle - 打包上傳Maven倉(cāng)庫(kù)
打包步驟 生成gpg密鑰 上傳公鑰到兩臺(tái)服務(wù)器上keys.gnupg.net 與 keyserver.ubuntu.com ~/.gradle/gradle.properti...
-
HDFS_DELEGATION_TOKEN 還原及解決方案HDFS_DELEGATION_TOKEN 這個(gè)BUG在很多文章中都出現(xiàn)著钾怔，講了很多原理，但是只給出了官方引用地扯蒙挑，完全沒有給出如何解決宗侦，我們線上的業(yè)務(wù)就有著這樣的問題，7天...
-
簡(jiǎn)單易懂的Actor通訊系統(tǒng)栗子
使用 依賴 定義消息協(xié)議 定義常量 服務(wù)器 節(jié)點(diǎn) 啟動(dòng) MyResourceManager 啟動(dòng) MyNodeManager
-
-
Elasticsearch - token分析過程
有時(shí)候我們?cè)谑褂肊s作為搜索分析的時(shí)候,得出的結(jié)果并不是我們想要的,這時(shí)候我們會(huì)查詢一下Es會(huì)怎么拆解我們的字符忆蚀，這里就可以用到Es的_analyze查看一下分解的token...
-