發(fā)簡(jiǎn)信
IP屬地：北京
-
2020-04-21
通過命令 -setrep 設(shè)置HDFS中文件的副本數(shù)量 這里設(shè)置的副本數(shù)只是記錄在NameNode的元數(shù)據(jù)中白热，是否真的會(huì)有這么多副本雷绢，還得看...
-
SparkStreaming優(yōu)雅關(guān)閉
開啟另外一個(gè)線程每5秒監(jiān)聽HDFS上一個(gè)文件是否存在沼沈。如果檢測(cè)到存在，調(diào)用ssc.stop()方法關(guān)閉SparkStreaming任務(wù)（當(dāng)你要關(guān)...
-
Spark 共享變量底層實(shí)現(xiàn)??Spark一個(gè)非常重要的特性就是共享變量退腥。??默認(rèn)情況下城瞎，如果在一個(gè)算子的函數(shù)中使用到了某個(gè)外部的變量拳魁，那么這個(gè)變量的值會(huì)被拷貝到每個(gè)tas...
-
Spark 核心組件之BlockManager數(shù)據(jù)存儲(chǔ)與管理機(jī)制??BlockManager是整個(gè)Spark底層負(fù)責(zé)數(shù)據(jù)存儲(chǔ)與管理的一個(gè)組件乘客，Driver和Executor的所有數(shù)據(jù)都由對(duì)應(yīng)的BlockMan...
-
DataX調(diào)優(yōu)及常見問題
jvm參數(shù) 在datax 中導(dǎo)數(shù)據(jù)使用過程中往往會(huì)因?yàn)楹繕?biāo)數(shù)據(jù)過大導(dǎo)致datax oom，那么可以調(diào)大datax的jvm參數(shù)來(lái)防止oom,在p...
-
DataX 動(dòng)態(tài)傳參
在實(shí)際應(yīng)用當(dāng)中易核，往往會(huì)需要?jiǎng)討B(tài)傳入分區(qū)字段匈织，那么在json文件中，可以選擇${參數(shù)值}來(lái)進(jìn)行傳參 相應(yīng)的在執(zhí)行命令上 使用-p “ -D參數(shù)值”...
-
Shell中單引號(hào)和雙引號(hào)區(qū)別
1）在/home/zby/bin創(chuàng)建一個(gè)test.sh文件 在文件中添加如下內(nèi)容 2）查看執(zhí)行結(jié)果 3）總結(jié)：（1）單引號(hào)不取變量值（2）雙引號(hào)...
-
JVM詳解（jdk1.7&jdk1.8）類裝載器ClassLoader 負(fù)責(zé)加載class文件耸成，class文件在文件開頭有特定的文件標(biāo)示报亩，并且ClassLoader只負(fù)責(zé)class文件...
-
Kafka分區(qū)策略
分區(qū)的原因 （1）方便在集群中擴(kuò)展，每個(gè)Partition可以通過調(diào)整以適應(yīng)它所在的機(jī)器井氢，而一個(gè)topic又可以有多個(gè)Partition組成，因...