背景：最近執(zhí)行一個(gè) select count(*)峦剔，發(fā)現(xiàn)mapreduce計(jì)算分片數(shù)很慢，且分片數(shù)的大小對不上 確定 hive 默認(rèn)開啟 map...

背景：公司有需求將hive數(shù)據(jù)導(dǎo)入es惨险，之前是通過datax進(jìn)行導(dǎo)數(shù)的；但是datax多線程很耗內(nèi)存脊髓，并且經(jīng)常性會出現(xiàn)一些程序上的問題辫愉。故想要使...

背景：這兩天安裝cdh，重新溫習(xí)了下linux的使用将硝，關(guān)于卸載應(yīng)用恭朗，特記錄 強(qiáng)制刪除已安裝程序及其關(guān)聯(lián)：rpm -qa|grep python|...

背景：最近準(zhǔn)備在自己的虛擬機(jī)上搭一個(gè)cdh的集群，在啟動cloudera-scm-agent失敗排查思路： 進(jìn)去log日志查看報(bào)錯(cuò)信息：/usr...

背景： 最近電腦突然不知怎么的依疼，輸入法由簡體轉(zhuǎn)為繁體冀墨，并且不知如何更改 使用 ctrl+shift+f可進(jìn)行簡繁體切換 在使用idea時(shí)ctrl...

背景：公司數(shù)據(jù)涉及到從hive往es中導(dǎo)數(shù)，使用datax來進(jìn)行抽取 報(bào)錯(cuò)：One or more of the items in the Bu...

背景：在工作過程中涛贯，一直經(jīng)常性接觸到hql拼接字符串的工作內(nèi)容，但每次都是最常規(guī)的拼接蔚出，效率并不高弟翘。故調(diào)研發(fā)現(xiàn)hive早已提供相關(guān)函數(shù)進(jìn)行更簡便...

背景： 工作中多次使用到hql的時(shí)間轉(zhuǎn)換，但一直未記錄相關(guān)文檔骄酗，每次查找都十分麻煩稀余，故文檔記錄方便下次使用。 查找 hive 自帶函數(shù) 展示hi...