新博客地址： <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fwww.zhihu.com%2Fpeople%2Fallwefantasy" target="_blank">https://www.zhihu.com/people/allwefantasy</a>
發(fā)簡信
IP屬地：云南
-
spark2.x--7. 內(nèi)存管理之StaticMemoryManage1. MemoryManager Spark的內(nèi)存主要分為管理儲(chǔ)存(Storage)和執(zhí)行(Execution)缚陷，ExecutionMemory是指 Shuffles，joi...
-
Spark2.x---6. Spark Yarn Client模式解析最近在定位Yarn的crash問題時(shí)，順便把spark怎么使用yarn的好好的梳理了一遍铆铆。不過我先了解一下Yarn和怎么提交yarn的job的蝶缀。 首先我們先看看Yarn的架構(gòu)...
-
-
-
Spark2.x---5. Executor模塊
Executor模塊是負(fù)責(zé)運(yùn)行Task計(jì)算任務(wù)柄慰，并將結(jié)果返回給Driver，盡管Spark支持多種資源調(diào)度框架税娜，比如mesos坐搔，yarn，standalone敬矩，這些資源框架在...
-
-
-
-
-
