IP屬地：四川
-
python連接有sasl認(rèn)證的kafka
公司的kafka做了安全升級(jí)戏罢，加入了sasl認(rèn)證冶伞。 使用confluent_kafka 進(jìn)行認(rèn)證連接kafka 首先安裝confluent_ka...
-
impala中查詢Kudu表不存在，無法新建問題
impala中查詢kudu表提示 ：ERROR: AnalysisException: Could not resolve table refe...
-
Nginx日志Hive分析
1.業(yè)務(wù)場(chǎng)景 最新有一個(gè)新需求骑素，需要對(duì)Nginx的log日志進(jìn)行分析，日志每天以打包壓縮上傳HDFS上甸赃，采用可以用Hive直接解析瀑罗，但是所...
-
數(shù)組
數(shù)組：連續(xù)內(nèi)存空間的集合 適合讀多寫少的場(chǎng)景 時(shí)間復(fù)雜度 1.訪問O（1） 2.搜索O（N） 3.插入O（N） 4.刪除O（N）
-
鏈表鏈表：非連續(xù)內(nèi)存空間，鏈表中每個(gè)元素還有next指針指向下一個(gè)元素 單端鏈表：只有next指針指向下一個(gè) 雙端鏈表：還有指針指向上一個(gè) 鏈表適合...
-
Hive調(diào)優(yōu)
宏觀調(diào)優(yōu)思路 1.資源充足加內(nèi)存 2.數(shù)據(jù)接入慢調(diào)優(yōu)接入工具Sqoop/Datax 3.Hive參數(shù)調(diào)優(yōu) 4.sql調(diào)優(yōu) 5.調(diào)整模型盾戴，提高模型...
-
-
Spark數(shù)據(jù)傾斜Spark數(shù)據(jù)傾斜表現(xiàn) 1.Executor lost,OOM,Shuffle過程出錯(cuò) 2.DriverOOM 3.任務(wù)卡在某個(gè)階段 4.正常任...
-
Hive數(shù)據(jù)傾斜解決Hive自身走的是MR程序寄锐，Key值分布不均勻容易造成數(shù)據(jù)傾斜