春風(fēng)花草

獲取當(dāng)年第一天和最后一天日期 獲取當(dāng)前周第一天和最后一天日期 獲取當(dāng)前月第一天和最后一天日期 獲取上個(gè)月第一天和最后一天 獲取上個(gè)月第一天和最后一天 獲取下個(gè)月第一天和最后一...

春風(fēng)花草

linux終端提示符默認(rèn)如下顯示效果 這里主要想在終端提示這里看到登錄用戶繁扎、服務(wù)器ip和絕對(duì)路徑咒吐，如下顯示： 這里主要通過PS1變量來進(jìn)行設(shè)置 PS1:linux終端提示符，...

春風(fēng)花草

在mysql中執(zhí)行如下語句罗岖，提示標(biāo)題的報(bào)錯(cuò)信息 上面語句的含義本來是找也某個(gè)角色下配置的菜單，然后把這些菜單權(quán)限刪除掉腹躁。但是執(zhí)行的時(shí)候報(bào)錯(cuò)了桑包，如果把上面的語句改成查詢的話，是...

春風(fēng)花草

背景 經(jīng)常需要處理如下的數(shù)據(jù) 第一列是項(xiàng)目名稱纺非，第二列是項(xiàng)目經(jīng)理id哑了，一個(gè)項(xiàng)目有多個(gè)項(xiàng)目經(jīng)理赘方，現(xiàn)在需要將數(shù)據(jù)變成一行只有一個(gè)項(xiàng)目經(jīng)理，轉(zhuǎn)換后的數(shù)據(jù)如下： 解決方案 這里需要用...

春風(fēng)花草

處理數(shù)據(jù)時(shí)弱左，遇到了需要將一行數(shù)據(jù)變成多行數(shù)據(jù)的情況如下圖數(shù)據(jù) 需要將數(shù)據(jù)處理成 相當(dāng)于將project_manager_id按逗號(hào)分隔窄陡，分隔后的結(jié)果變成多行。 那么在mysq...

春風(fēng)花草

1拆火、hive日志配置說明 hive日志的配置文件放在hive的conf目錄配置文件名：hive-log4j2.propertieslog4j2中跳夭，日志共有8個(gè)級(jí)別，按照從低到...

春風(fēng)花草

一般情況下们镜，啟動(dòng)一個(gè)hive任務(wù)時(shí)hive會(huì)計(jì)算這個(gè)任務(wù)需要用到的map和reduce數(shù)量币叹，通常map數(shù)和reduce數(shù)不需要調(diào)整。但是有時(shí)如果map或reduce的計(jì)算很復(fù)...

春風(fēng)花草

問題描述 發(fā)現(xiàn)一個(gè)正常運(yùn)行的hive任務(wù)突然失敗了模狭，如下圖： 主要是由于map有任務(wù)失敗導(dǎo)致整個(gè)MR失敗了套硼，查看map的log，發(fā)現(xiàn)： 從上面報(bào)錯(cuò)信息可知是由于hdfs丟塊導(dǎo)...

春風(fēng)花草

問題描述 今天發(fā)現(xiàn)一個(gè)日常任務(wù)突然失敗胞皱，失敗的原因也不明顯邪意，因?yàn)檫@個(gè)hive sql會(huì)生成多個(gè)mapreduce任務(wù)，前面的mapreduce任務(wù)都成功了反砌，到最后一個(gè)MR任務(wù)...

春風(fēng)花草

問題背景 ES集群的各結(jié)點(diǎn)有加進(jìn)程監(jiān)控，如果進(jìn)程不在宴树，監(jiān)控會(huì)自動(dòng)重新拉起策菜，一般情況下重啟不會(huì)有問題。今天遇到一個(gè)結(jié)點(diǎn)一直在報(bào)無進(jìn)程的告警酒贬，只能去結(jié)點(diǎn)上查看日志又憨。 問題查找 通...