JMeter簡介 JMeter基本概念 Apache JMeter是Apache組織開發(fā)的基于Java的壓力測試工具翰舌。用于對軟件做壓力測試凰浮，它最初被設(shè)計用于Web應(yīng)用測試，但...
IP屬地：廣東
-
JMeter（一） 入門 -
[源碼分析]spark shuffle的讀操作
上一篇解讀了shuffle寫操作的流程狡逢，相比較shuffle讀操作而言是比較簡單的焚辅；shuffle讀取過程比較耗內(nèi)存浊仆，由于在最后會把所有的數(shù)據(jù)拉入到緩存中進行聚合记焊； shul...
-
Spark on Yarn之Executor內(nèi)存管理本文1酣溃、2、3節(jié)介紹了Spark 內(nèi)存相關(guān)之識棋傍，第4節(jié)描述了常見錯誤類型及產(chǎn)生原因并給出了解決方案救拉。 1 堆內(nèi)和堆外內(nèi)存規(guī)劃 Executor 的內(nèi)存管理建立在 JVM 的內(nèi)...
-
記一次Spark Yarn Shuffle Service升級引發(fā)的血案前言 Spark YarnShuffleService是作為Hadoop Yarn模塊中NodeManager的輔助服務(wù)寄生在其進程內(nèi)部，大家都知道可以通過這個外部服務(wù)來削減...
-
【開源Spark實戰(zhàn)訓(xùn)練營】基于spark快速構(gòu)建數(shù)倉項目作者：螞蟻金服數(shù)據(jù)中臺技術(shù)專家－王飛（必武）整理:平凡的世界-zkx,轉(zhuǎn)載請注明出處瘫拣。 第一節(jié)會介紹一下數(shù)據(jù)倉庫的基本理論第二節(jié)給大家介紹一下基于spark多數(shù)據(jù)源的集成亿絮，第...
-
External Shuffle Service 引起的NodeManager OOM問題分析1 現(xiàn)象描述及初步分析 近期公司yarn集群中存在NodeManager因OOM 而掛掉的情況, 且發(fā)生OOM前存在大量的Spark Shuffle Services相關(guān)信...
-
大數(shù)據(jù)Structured Streaming教程1:概念及使用近年來，大數(shù)據(jù)的計算引擎越來越受到關(guān)注麸拄，spark作為最受歡迎的大數(shù)據(jù)計算框架派昧，也在不斷的學(xué)習(xí)和完善中。在Spark2.x中拢切，新開放了一個基于DataFrame的無下限的流式...
-
blink udtf的實戰(zhàn)
實時計算支持三種自定義函數(shù)（UDX）泻拦，分別是： 本文檔通過使用UDTF解析字節(jié)數(shù)組成多個字段如存儲的是{"name":"Alice", "age":13, "grade":...
