light01

1.官方說明使用database.serverTimezone屬性解決時區(qū)問題材部『晾拢可見：https://debezium.io/documentation/reference/...

light01

簡要記錄下java運行時各個區(qū)域的作用和生命周期。 堆和方法區(qū)/元空間屬于線程共享的區(qū)域乐导，隨著虛擬機進程的啟動而存在苦丁。 程序計數(shù)器，本地方法棧物臂，虛擬機棧都屬于線程私有的區(qū)域旺拉，...

light01

問題：young-gc頻繁，每2秒收集一次棵磷，每次平均耗時25ms蛾狗；full-gc平均82min一次，每次平均耗時40ms 目的：降低young-gc頻率 調(diào)優(yōu)前參數(shù)：-Xms...

light01

1.查看gc jstat -gc pid period(毫秒) 2.查看各年代堆棧以及gc信息 jmap -heap pid 3.查看類實例數(shù)量和內(nèi)存占用 jmap -his...

light01

@Hello_72ef 在遍歷之前仪媒，已經(jīng)隨機產(chǎn)生一堆隨機數(shù)沉桌，在一次遍歷的過程中和這些隨機數(shù)比較后獲取樣本

spark實現(xiàn)加權(quán)采樣(不放回)

加權(quán)采樣就是按照選定的權(quán)重列,根據(jù)權(quán)重值采樣,如權(quán)重值是1.2和1.0；則value=1.2所屬樣本的被采樣的概率就大一些。權(quán)重列必須為double或int類型. 算法:計算...

light01

3714 4 0

light01

什么沒懂?

flume傳輸大文件異常Input length = 2

在使用flume spooling組件傳輸文件時兼耀，經(jīng)常會出現(xiàn)以下問題： 1.文件只能傳輸一部分。 2.第二次將文件放到flume的監(jiān)控目錄下時求冷，不能傳輸文件瘤运，監(jiān)控目錄中的文件...

light01

2499 2 1

light01

問題:有時我們需要在spark的程序中讀取一些外部的配置文件,解決的方式也是比較多的,我這里記錄一下我測試解決的方法: spark-submit --files /tmp/f...

light01

sqoop是apache開源項目,主要用于關(guān)系型數(shù)據(jù)庫數(shù)據(jù)和hdfs數(shù)據(jù)的相互同步. 主要記錄下-m和--split-by參數(shù)的使用: 1. 這倆參數(shù)一般是放在一起使用 2....

light01

$? 可以獲取上一個命令的退出狀態(tài)。所謂退出狀態(tài)遵倦，就是上一個命令執(zhí)行后的返回結(jié)果尽超。 退出狀態(tài)是一個數(shù)字官撼，一般情況下梧躺，大部分命令執(zhí)行成功會返回 0，失敗返回 1傲绣。 不過掠哥，也有一...

light01

問題描述: 通過LocalCluster提交storm KafkaSpout的應(yīng)用,每次重新提交應(yīng)用時,消息都會重復消費,而且在zookeeper中不能創(chuàng)建存儲節(jié)點. 日志中...

light01

1.訪問的url資源不一樣. 區(qū)別點:forward方法只能轉(zhuǎn)發(fā)到同一個Web應(yīng)用程序中的資源,而sendRedirect方法可以重定向到任何URL. 2.目的url請求的原...

light01

在storm1.0.2和kafka0.10.0.1上提交storm應(yīng)用時，出現(xiàn)下面的兩個異常 1.Caused by: java.lang.IllegalStateExcep...

light01

org.apache.Kafka.common.serialization.StringDeserializer中Kafka首字母應(yīng)該小寫

Kafka實戰(zhàn)解惑

摘要: 文本詳細的介紹了Kafka的原理禁舷、運維、開發(fā)毅往、生態(tài)環(huán)境以及常見的應(yīng)用場景牵咙。 目錄 一、 Kafka簡介二攀唯、 Kafka架構(gòu)方案三洁桌、 Kafka安裝四、 Kafka C...

Socrates1024

778 4 34

light01

1 數(shù)據(jù)傾斜調(diào)優(yōu) 1.1 調(diào)優(yōu)概述 有的時候侯嘀，我們可能會遇到大數(shù)據(jù)計算中一個最棘手的問題——數(shù)據(jù)傾斜另凌，此時Spark作業(yè)的性能會比期望差很多。數(shù)據(jù)傾斜調(diào)優(yōu)戒幔，就是使用各種技術(shù)方...