發(fā)簡信
IP屬地：江蘇
-
離線多機房方案1. 背景 隨著公司業(yè)務的高速發(fā)展，業(yè)務數(shù)據(jù)的生產(chǎn)速度變得越來越快根竿，離線集群規(guī)闹鸦龋快速膨脹暮蹂，既有機房內(nèi)的機位急劇消耗夭委，在可預見的不久的將來會達到機...
-
Hadoop Security機制下跨集群日志分離認證問題解決方案概述：為解決臨時數(shù)據(jù)導致的集群資源爭用問題杆麸，我們采用了container日志分離方案旷赖，但在Hadoop Security機制下辅髓，該方案存在跨集群...
-
Resource Manager YGC停頓過長分析
動機 昨天又收到有同學因數(shù)據(jù)（代碼）問題被rccd的郵件泣崩，領導也一再提醒數(shù)據(jù)的安全問題。于是審視了一下硬盤文件洛口，以免存在無心之過… 審視過程中發(fā)...
-
Shuffle Service導致NM OOM問題分析（續(xù)）今天有朋友問之前NodeManager被Shuffle拉掛的問題矫付，借此機會將之前分析的另一文檔整理一下分享出來。 現(xiàn)象描述及分析 9月27日10...
-
SparkR on Yarn 安裝配制
剛完成SparkR的支持第焰，順手記錄下流程… 1 編譯SparkR 1.1 生成SparkR的lib包 1.2 編譯Spark 1.3 local...
-
Spark SQL中Kryo反序列化問題分析1 問題描述 當使用Spark-sql執(zhí)行 Hive UDF時會發(fā)生NullPointerException(NPE)买优，從而導致作業(yè)異常終止。...
-
External Shuffle Service 引起的NodeManager OOM問題分析1 現(xiàn)象描述及初步分析 近期公司yarn集群中存在NodeManager因OOM 而掛掉的情況, 且發(fā)生OOM前存在大量的Spark Shuf...
-
Spark on Yarn 之Python環(huán)境定制
1 動機 不同用戶的應用程序使用的python版本及需要的python依賴可能存在不同，若每次缺少依賴都請op去update所有節(jié)點杀赢，對于大集群...
-
Spark on Yarn之Executor內(nèi)存管理本文1烘跺、2、3節(jié)介紹了Spark 內(nèi)存相關之識脂崔，第4節(jié)描述了常見錯誤類型及產(chǎn)生原因并給出了解決方案滤淳。 1 堆內(nèi)和堆外內(nèi)存規(guī)劃 Executor ...