發(fā)簡信
IP屬地：山西
-
spark程序jar與spark lib jar沖突棍弄，加載順序
用戶編寫的spark程序打包成jar后提交到y(tǒng)arn執(zhí)行時(shí)师脂，經(jīng)常會(huì)遇到j(luò)ar包中明顯存在某個(gè)類，但任務(wù)提交到y(tǒng)arn運(yùn)行時(shí)卻找不到類或方法（ja...
-
maven 編譯錯(cuò)誤 org.apache.commons.exec.ExecuteException: Process exited with an error: 1 (Exit value: 1)
最近新接觸scala代碼的編寫肢预、編譯阔逼，使用mvn編譯項(xiàng)目時(shí)經(jīng)常碰到“ExecuteException: Process exited with ...
-
Janusgraph Spark yarn-client模式批量導(dǎo)入配置
Janusgraph是一個(gè)分布式圖數(shù)據(jù)庫她按，繼承自titan床未。Janusgraph的批量導(dǎo)入（bulkload）默認(rèn)使用spark的local模式...
-
spark1.5.x升級(jí)spark2.1.1代碼改動(dòng)
背景 公司一直用spark1.5.2, 最近將其升級(jí)至spark2.1.1医舆。本文的總結(jié)升級(jí)過程需要改動(dòng)的地方俘侠。涉及了spark普通項(xiàng)目和spar...
-
Java synchronized 實(shí)現(xiàn)唯一單例在初始化數(shù)據(jù)庫連接象缀、hbase連接時(shí)，我們通常希望復(fù)用連接爷速，而不是每次使用時(shí)都new 一個(gè)實(shí)例央星。也就是說一個(gè)hbase表名對(duì)應(yīng)一個(gè)hbase c...
-
hadoop distcp hftp hdfs跨集群拷貝常見問題歸總在工作中遇到部門間數(shù)據(jù)合作，需跨不同版本集群拷貝數(shù)據(jù)惫东，從hadoop 2.6.0-cdh5.7.0 拷貝數(shù)據(jù)到hadoop 2.7.1莉给， 記錄所...
-
KafKa java.lang.NoSuchMethodError: net.jpountz.util.Utils.checkRange([BII)V問題 在初用spark streaming 1.5.2 自帶的low level 連接kafka例子（JavaDirectKafkaWordCo...
-
spark 資源大小分配與并行處理起因 寫這篇博客的起因我在跑一個(gè)spark job時(shí)，有時(shí)能跑通廉沮，有時(shí)跑不通颓遏。程序的需求是對(duì)比兩個(gè)hbase表。程序邏輯很簡單滞时，分別從兩個(gè)hba...