ERROR TransportResponseHandler:
Still have 1 requests outstanding when connection from is closed
我加了如下的參數(shù)
spark.driver.memory=4g
spark.hadoop.mapreduce.input.fileinputformat.split.maxsize=134217728
spark.dynamicAllocation.initialExecutors=50
spark.yarn.executor.memoryOverhead=2048
spark.dynamicAllocation.maxExecutors=1000
spark.dynamicAllocation.tasksPerExecutorSlot=1
運(yùn)行的程序其實(shí)邏輯上比較簡(jiǎn)單，只是從hive表里讀取的數(shù)據(jù)量很大，差不多60+G互艾，
并且需要將某些hive表讀取到dirver節(jié)點(diǎn)上捞挥，用來獲取每個(gè)executor上某些數(shù)據(jù)的映射值，
所以driver設(shè)定的資源較大檐春。運(yùn)行時(shí)拋出的異常信息烙丛，從網(wǎng)上查了下原因大致是服務(wù)器的
并發(fā)連接數(shù)超過了其承載量憎账，服務(wù)器會(huì)將其中一些連接Down掉，這也就是說在運(yùn)行spark程序時(shí)垫毙，過多的申請(qǐng)資源并發(fā)執(zhí)行霹疫。
最近在學(xué)習(xí)spark調(diào)優(yōu)屬實(shí)有點(diǎn)難度哈!!!!!
