在一開始的時(shí)候耗美,情況是這樣的:
QQ圖片20160926210136.png
可以看得出來余指,本來Receiver應(yīng)該有一個(gè)專門的job啟動(dòng)起來,但是并沒有
但是可以看到 DummyJob已經(jīng)啟動(dòng)了米死,并且有日志顯示 receivers是有1個(gè)的衷佃,對(duì)應(yīng)的代碼在這里:
runDummySparkJob()
logInfo("Starting " + receivers.length + " receivers")
endpoint.send(StartAllReceivers(receivers))
在過一段時(shí)間趟卸,Spark App 就會(huì)報(bào)錯(cuò),報(bào)的錯(cuò)是:
spark.rpc.asktimeout
在經(jīng)過一段的時(shí)間的研究之后氏义,沒有找出原因锄列,就請(qǐng)求了大神(王鵬哥)的幫忙,經(jīng)過一段的時(shí)間探討之后惯悠,終于找出了原因邻邮,就是因?yàn)樘摂M機(jī)的processor 的個(gè)數(shù)只有1個(gè),Driver根本處理不過來吮螺,
QQ圖片20160926211014.png
在改完以后饶囚,問題就解決了,
希望大家不要和我犯同樣的錯(cuò)誤~~