spark submit on yarn 提交作業(yè)的時(shí)候,報(bào)錯(cuò)
image.png
由于是本地搭建的偽分布機(jī)器,首先想到的是內(nèi)存分配有問題.在yarn-size.xml中 將 虛擬內(nèi)存,物理內(nèi)存檢測關(guān)閉掉.如下:
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
但是問題還是沒有解決. 查看yarn ui 尋找問題.找到container的日志顯示
Failed while trying to construct the redirect url.....
解決方式:
1 .需要在 mapred-site.xml 增加 History服務(wù)
<property>
<name>mapreduce.jobhistory.address</name>
<value>localhost:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>localhost:19888</value>
</property>
- 在yarn-site.xml 中配置
<property>
<name>yarn.log.server.url</name>
<value>http://127.0.0.1:19888/jobhistory/logs</value>
</property>
現(xiàn)在就能看到container報(bào)錯(cuò)信息了. 原因是依賴沒有打包進(jìn)入.
image.png
