發(fā)簡(jiǎn)信
IP屬地：江蘇
-
離線多機(jī)房方案1. 背景 隨著公司業(yè)務(wù)的高速發(fā)展薇宠，業(yè)務(wù)數(shù)據(jù)的生產(chǎn)速度變得越來(lái)越快憨愉，離線集群規(guī)模快速膨脹臂港，既有機(jī)房?jī)?nèi)的機(jī)位急劇消耗森枪，在可預(yù)見(jiàn)的不久的將來(lái)會(huì)達(dá)到機(jī)...
-
Hadoop Security機(jī)制下跨集群日志分離認(rèn)證問(wèn)題解決方案概述：為解決臨時(shí)數(shù)據(jù)導(dǎo)致的集群資源爭(zhēng)用問(wèn)題，我們采用了container日志分離方案审孽，但在Hadoop Security機(jī)制下县袱，該方案存在跨集群...
-
Resource Manager YGC停頓過(guò)長(zhǎng)分析
動(dòng)機(jī) 昨天又收到有同學(xué)因數(shù)據(jù)（代碼）問(wèn)題被rccd的郵件，領(lǐng)導(dǎo)也一再提醒數(shù)據(jù)的安全問(wèn)題佑力。于是審視了一下硬盤(pán)文件式散，以免存在無(wú)心之過(guò)… 審視過(guò)程中發(fā)...
-
Shuffle Service導(dǎo)致NM OOM問(wèn)題分析（續(xù)）今天有朋友問(wèn)之前NodeManager被Shuffle拉掛的問(wèn)題，借此機(jī)會(huì)將之前分析的另一文檔整理一下分享出來(lái)打颤。 現(xiàn)象描述及分析 9月27日10...
-
SparkR on Yarn 安裝配制
剛完成SparkR的支持暴拄，順手記錄下流程… 1 編譯SparkR 1.1 生成SparkR的lib包 1.2 編譯Spark 1.3 local...
-
Spark SQL中Kryo反序列化問(wèn)題分析1 問(wèn)題描述 當(dāng)使用Spark-sql執(zhí)行 Hive UDF時(shí)會(huì)發(fā)生NullPointerException(NPE)，從而導(dǎo)致作業(yè)異常終止编饺。...
-
External Shuffle Service 引起的NodeManager OOM問(wèn)題分析1 現(xiàn)象描述及初步分析 近期公司yarn集群中存在NodeManager因OOM 而掛掉的情況, 且發(fā)生OOM前存在大量的Spark Shuf...
-
Spark on Yarn 之Python環(huán)境定制
1 動(dòng)機(jī) 不同用戶的應(yīng)用程序使用的python版本及需要的python依賴可能存在不同乖篷，若每次缺少依賴都請(qǐng)op去update所有節(jié)點(diǎn)，對(duì)于大集群...
-
Spark on Yarn之Executor內(nèi)存管理本文1透且、2撕蔼、3節(jié)介紹了Spark 內(nèi)存相關(guān)之識(shí)，第4節(jié)描述了常見(jiàn)錯(cuò)誤類(lèi)型及產(chǎn)生原因并給出了解決方案。 1 堆內(nèi)和堆外內(nèi)存規(guī)劃 Executor ...