發(fā)簡(jiǎn)信
IP屬地：北京
-
debezium中binlog時(shí)區(qū)問題
1.官方說明使用database.serverTimezone屬性解決時(shí)區(qū)問題。可見：https://debezium.io/documenta...
-
java運(yùn)行時(shí)區(qū)域
簡(jiǎn)要記錄下java運(yùn)行時(shí)各個(gè)區(qū)域的作用和生命周期。 堆和方法區(qū)/元空間屬于線程共享的區(qū)域，隨著虛擬機(jī)進(jìn)程的啟動(dòng)而存在杜跷。 程序計(jì)數(shù)器，本地方法棧，...
-
小記一次jvm調(diào)優(yōu)
問題：young-gc頻繁妖胀，每2秒收集一次，每次平均耗時(shí)25ms惠勒；full-gc平均82min一次赚抡，每次平均耗時(shí)40ms 目的：降低young-...
-
java gc幾個(gè)常用的調(diào)優(yōu)命令
1.查看gc jstat -gc pid period(毫秒) 2.查看各年代堆棧以及gc信息 jmap -heap pid 3.查看類實(shí)例數(shù)量...
-
spark實(shí)現(xiàn)加權(quán)采樣(不放回)加權(quán)采樣就是按照選定的權(quán)重列,根據(jù)權(quán)重值采樣,如權(quán)重值是1.2和1.0；則value=1.2所屬樣本的被采樣的概率就大一些纠屋。權(quán)重列必須為doub...
-
idea本地調(diào)試spark demo 異常第一個(gè)問題:Caused by: java.lang.ClassNotFoundException: org.apache.spark.Spar...
-
spark讀取外部配置文件的方法
問題:有時(shí)我們需要在spark的程序中讀取一些外部的配置文件,解決的方式也是比較多的,我這里記錄一下我測(cè)試解決的方法: spark-submit...
-
記錄sqoop命令行參數(shù)-m和--split-by用法
sqoop是apache開源項(xiàng)目,主要用于關(guān)系型數(shù)據(jù)庫數(shù)據(jù)和hdfs數(shù)據(jù)的相互同步. 主要記錄下-m和--split-by參數(shù)的使用: 1. 這...
-
echo $?
$? 可以獲取上一個(gè)命令的退出狀態(tài)涂臣。所謂退出狀態(tài)，就是上一個(gè)命令執(zhí)行后的返回結(jié)果售担。 退出狀態(tài)是一個(gè)數(shù)字赁遗，一般情況下闯估，大部分命令執(zhí)行成功會(huì)返回 0...