問(wèn)題描述:部門(mén)承接的某運(yùn)營(yíng)商的CRM項(xiàng)目日志查詢出現(xiàn)延遲,最高延遲達(dá)半小時(shí)达罗,嚴(yán)重影響業(yè)務(wù)運(yùn)行讲弄。問(wèn)題解決:首先對(duì)他們的數(shù)據(jù)流向進(jìn)行了解后得知断医,數(shù)據(jù)...
問(wèn)題描述:部門(mén)承接的某運(yùn)營(yíng)商的CRM項(xiàng)目日志查詢出現(xiàn)延遲,最高延遲達(dá)半小時(shí)达罗,嚴(yán)重影響業(yè)務(wù)運(yùn)行讲弄。問(wèn)題解決:首先對(duì)他們的數(shù)據(jù)流向進(jìn)行了解后得知断医,數(shù)據(jù)...
問(wèn)題描述:一個(gè)hbase集群出現(xiàn)數(shù)據(jù)傾斜卒密,并且服務(wù)器經(jīng)常會(huì)宕機(jī)問(wèn)題解決:登錄60010界面查看region的分布情況蔬捷,發(fā)現(xiàn)region分布不均衡...
問(wèn)題描述:公司中一個(gè)項(xiàng)目我們用netty接收廠商提供的數(shù)據(jù)入kafka蓄坏,接收速度較慢企巢,入kafka也比較慢枫慷,需要對(duì)其進(jìn)行一些優(yōu)化。問(wèn)題解決:利用...
問(wèn)題描述:公司之前的采集產(chǎn)品由于對(duì)大數(shù)據(jù)這塊水土不服,入庫(kù)慢等原因,再加上負(fù)責(zé)這個(gè)產(chǎn)品的團(tuán)隊(duì)全部走光,導(dǎo)致現(xiàn)在出了問(wèn)題沒(méi)人能解決,誰(shuí)都不愿意踩這...
問(wèn)題描述:集群中原有采集程序從源文件入hbase出現(xiàn)積壓浪规,優(yōu)化修改程序都無(wú)濟(jì)于事或听,需要趕緊出個(gè)方案進(jìn)行解決 問(wèn)題解決:集群中的采集程序也有一條線...
hive的庫(kù)、表等數(shù)據(jù)實(shí)際是hdfs系統(tǒng)中的目錄和文件笋婿,讓開(kāi)發(fā)者可以通過(guò)sql語(yǔ)句誉裆, 像操作關(guān)系數(shù)據(jù)庫(kù)一樣操作文件內(nèi)容, 比如執(zhí)行查詢缸濒,統(tǒng)計(jì)足丢,插...
問(wèn)題描述:在hive里運(yùn)行select count(1)操作一個(gè)表時(shí),老是失敗庇配,但是其它sql確不報(bào)錯(cuò)能正常跑出結(jié)果 問(wèn)題解決:查看日志斩跌,發(fā)現(xiàn)會(huì)...
問(wèn)題描述:一個(gè)項(xiàng)目組的同事反應(yīng)他們的集群hive突然出現(xiàn)了問(wèn)題,走mr就報(bào)錯(cuò) 問(wèn)題解決:首先問(wèn)了下他們最近做了些什么操作捞慌,說(shuō)是最近在lib下復(fù)制...
問(wèn)題描述:在resourcemanager頁(yè)面查看到一些節(jié)點(diǎn)的Health report中報(bào) 1/4 local-dirs are bad: /...
問(wèn)題描述:有個(gè)hadoop集群耀鸦,跑hive任務(wù)的時(shí)候慢,而且經(jīng)常跑的跑的就掛了啸澡,報(bào)內(nèi)存不夠等等的相關(guān)異常揭糕,需要我們給解決萝快,優(yōu)化一下配置 問(wèn)題解決...