編譯調(diào)試 Spark的血淚史

前言。

首先聲明本方法絕對真實有效,本人嘗試了網(wǎng)上各種博客媒峡,但是說實話,還真跑不起横蜒,也不知道大神們怎么解決的胳蛮。經(jīng)過實驗室?guī)熜种更c销凑,終于找到了如下方法。

一仅炊。導入代碼斗幼,編譯啥的就不說了,一艘一大堆抚垄,linux 環(huán)境基本都能成功蜕窿,然而真正要調(diào)試源代碼谋逻,卻總有如下錯誤

2016-08-26 16-54-35屏幕截圖.png

二。 解決辦法桐经,找到spark-parent.pom ,注釋掉各種provided 選項如下:

2016-08-26 16-59-10屏幕截圖.png

三毁兆。 完美結(jié)果。如下

2016-08-26 16-59-44屏幕截圖.png

四阴挣。感謝崔師兄气堕,感謝實驗室。接下來畔咧,你可以盡情玩弄 spark 源代碼了茎芭。

具體原理如下:

  • compile (編譯范圍)** compile是默認的范圍;如果沒有提供一個范圍誓沸,那該依賴的范圍就是編譯范圍梅桩。編譯范圍依賴在所有的classpath 中可用,
    同時它們也會被打包拜隧。
  • provided (已提供范圍)** provided 依賴只有在當JDK 或者一個容器已提供該依賴之后才使用宿百。例如, 如果你開發(fā)了一個web 應(yīng)用洪添,你可能在編譯
    classpath 中需要可用的Servlet API 來編譯一個servlet犀呼,但是你不會想要在打包好的WAR 中包含這個Servlet API;這個
    Servlet API JAR 由你的應(yīng)用服務(wù)器或者servlet 容器提供薇组。已提供范圍的依賴在編譯classpath (不是運行時)可用外臂。它們
    不是傳遞性的,也不會被打包律胀。
  • runtime (運行時范圍)** runtime 依賴在運行和測試系統(tǒng)的時候需要宋光,但在編譯的時候不需要。比如炭菌,你可能在編譯的時候只需要JDBC API JAR罪佳,而只
    有在運行的時候才需要JDBC 驅(qū)動實現(xiàn)。
  • test (測試范圍) test范圍依賴 在一般的編譯和運行時都不需要黑低,它們只有在測試編譯和測試運行階段可用赘艳。system (系統(tǒng)范圍)
  • system范圍依賴與provided 類似,但是你必須顯式的提供一個對于本地系統(tǒng)中JAR 文件的路徑克握。這么做是為了允許基于本地
    對象編譯蕾管,而這些對象是系統(tǒng)類庫的一部分。這樣的構(gòu)件應(yīng)該是一直可用的菩暗,Maven 也不會在倉庫中去尋找它掰曾。如果你將一個
    依賴范圍設(shè)置成系統(tǒng)范圍,你必須同時提供一個 systemPath 元素停团。注意該范圍是不推薦使用的(你應(yīng)該一直盡量去從公共或
    定制的 Maven 倉庫中引用依賴)旷坦。
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末掏熬,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子秒梅,更是在濱河造成了極大的恐慌旗芬,老刑警劉巖,帶你破解...
    沈念sama閱讀 221,406評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件捆蜀,死亡現(xiàn)場離奇詭異岗屏,居然都是意外死亡,警方通過查閱死者的電腦和手機漱办,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,395評論 3 398
  • 文/潘曉璐 我一進店門这刷,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人娩井,你說我怎么就攤上這事暇屋。” “怎么了洞辣?”我有些...
    開封第一講書人閱讀 167,815評論 0 360
  • 文/不壞的土叔 我叫張陵咐刨,是天一觀的道長。 經(jīng)常有香客問我扬霜,道長定鸟,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 59,537評論 1 296
  • 正文 為了忘掉前任著瓶,我火速辦了婚禮联予,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘材原。我一直安慰自己沸久,他們只是感情好,可當我...
    茶點故事閱讀 68,536評論 6 397
  • 文/花漫 我一把揭開白布余蟹。 她就那樣靜靜地躺著卷胯,像睡著了一般。 火紅的嫁衣襯著肌膚如雪威酒。 梳的紋絲不亂的頭發(fā)上窑睁,一...
    開封第一講書人閱讀 52,184評論 1 308
  • 那天,我揣著相機與錄音葵孤,去河邊找鬼担钮。 笑死,一個胖子當著我的面吹牛佛呻,可吹牛的內(nèi)容都是我干的裳朋。 我是一名探鬼主播,決...
    沈念sama閱讀 40,776評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼吓著,長吁一口氣:“原來是場噩夢啊……” “哼鲤嫡!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起绑莺,我...
    開封第一講書人閱讀 39,668評論 0 276
  • 序言:老撾萬榮一對情侶失蹤暖眼,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后纺裁,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體诫肠,經(jīng)...
    沈念sama閱讀 46,212評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,299評論 3 340
  • 正文 我和宋清朗相戀三年欺缘,在試婚紗的時候發(fā)現(xiàn)自己被綠了栋豫。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,438評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡谚殊,死狀恐怖丧鸯,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情嫩絮,我是刑警寧澤丛肢,帶...
    沈念sama閱讀 36,128評論 5 349
  • 正文 年R本政府宣布,位于F島的核電站剿干,受9級特大地震影響蜂怎,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜置尔,卻給世界環(huán)境...
    茶點故事閱讀 41,807評論 3 333
  • 文/蒙蒙 一杠步、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧榜轿,春花似錦篮愉、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,279評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至设褐,卻和暖如春颠蕴,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背助析。 一陣腳步聲響...
    開封第一講書人閱讀 33,395評論 1 272
  • 我被黑心中介騙來泰國打工犀被, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人外冀。 一個月前我還...
    沈念sama閱讀 48,827評論 3 376
  • 正文 我出身青樓寡键,卻偏偏與公主長得像,于是被迫代替她去往敵國和親雪隧。 傳聞我的和親對象是個殘疾皇子西轩,可洞房花燭夜當晚...
    茶點故事閱讀 45,446評論 2 359

推薦閱讀更多精彩內(nèi)容