java Fork/Join

什么是Fork/Join框架

Fork/Join框架是Java7提供了的一個用于并行執(zhí)行任務的框架, 是一個把大任務分割成若干個小任務备典,最終匯總每個小任務結果后得到大任務結果的框架斩狱。

我們再通過Fork和Join這兩個單詞來理解下Fork/Join框架泌类,Fork就是把一個大任務切分為若干子任務并行的執(zhí)行姻成,Join就是合并這些子任務的執(zhí)行結果性穿,最后得到這個大任務的結果屋彪。比如計算1+2+释漆。芬膝。+10000望门,可以分割成10個子任務,每個子任務分別對1000個數進行求和锰霜,最終匯總這10個子任務的結果

工作竊取算法

工作竊瘸镂蟆(work-stealing)算法是指某個線程從其他隊列里竊取任務來執(zhí)行。

那么為什么需要使用工作竊取算法呢癣缅?假如我們需要做一個比較大的任務厨剪,我們可以把這個任務分割為若干互不依賴的子任務哄酝,為了減少線程間的競爭,于是把這些子任務分別放到不同的隊列里祷膳,并為每個隊列創(chuàng)建一個單獨的線程來執(zhí)行隊列里的任務陶衅,線程和隊列一一對應,比如A線程負責處理A隊列里的任務直晨。但是有的線程會先把自己隊列里的任務干完搀军,而其他線程對應的隊列里還有任務等待處理。干完活的線程與其等著勇皇,不如去幫其他線程干活罩句,于是它就去其他線程的隊列里竊取一個任務來執(zhí)行。而在這時它們會訪問同一個隊列敛摘,所以為了減少竊取任務線程和被竊取任務線程之間的競爭门烂,通常會使用雙端隊列,被竊取任務線程永遠從雙端隊列的頭部拿任務執(zhí)行兄淫,而竊取任務的線程永遠從雙端隊列的尾部拿任務執(zhí)行诅福。

工作竊取算法的優(yōu)點是充分利用線程進行并行計算,并減少了線程間的競爭拖叙,其缺點是在某些情況下還是存在競爭氓润,比如雙端隊列里只有一個任務時。并且消耗了更多的系統資源薯鳍,比如創(chuàng)建多個線程和多個雙端隊列咖气。

Fork/Join框架的介紹

我們已經很清楚Fork/Join框架的需求了,那么我們可以思考一下挖滤,如果讓我們來設計一個Fork/Join框架崩溪,該如何設計?這個思考有助于你理解Fork/Join框架的設計斩松。

第一步分割任務伶唯。首先我們需要有一個fork類來把大任務分割成子任務,有可能子任務還是很大惧盹,所以還需要不停的分割乳幸,直到分割出的子任務足夠小。

第二步執(zhí)行任務并合并結果钧椰。分割的子任務分別放在雙端隊列里粹断,然后幾個啟動線程分別從雙端隊列里獲取任務執(zhí)行。子任務執(zhí)行完的結果都統一放在一個隊列里嫡霞,啟動一個線程從隊列里拿數據瓶埋,然后合并這些數據。

Fork/Join使用兩個類來完成以上兩件事情:

ForkJoinTask:我們要使用ForkJoin框架,必須首先創(chuàng)建一個ForkJoin任務养筒。它提供在任務中執(zhí)行fork()和join()操作的機制曾撤,通常情況下我們不需要直接繼承ForkJoinTask類,而只需要繼承它的子類晕粪,Fork/Join框架提供了以下兩個子類:
RecursiveAction:用于沒有返回結果的任務挤悉。
RecursiveTask :用于有返回結果的任務。
ForkJoinPool :ForkJoinTask需要通過ForkJoinPool來執(zhí)行兵多,任務分割出的子任務會添加到當前工作線程所維護的雙端隊列中,進入隊列的頭部橄仆。當一個工作線程的隊列里暫時沒有任務時剩膘,它會隨機從其他工作線程的隊列的尾部獲取一個任務。

Fork/Join框架的異常處理

ForkJoinTask在執(zhí)行的時候可能會拋出異常盆顾,但是我們沒辦法在主線程里直接捕獲異常怠褐,所以ForkJoinTask提供了isCompletedAbnormally()方法來檢查任務是否已經拋出異常或已經被取消了您宪,并且可以通過ForkJoinTask的getException方法獲取異常奈懒。

if(task.isCompletedAbnormally())
{
    System.out.println(task.getException());
}

getException方法返回Throwable對象,如果任務被取消了則返回CancellationException宪巨。如果任務沒有完成或者沒有拋出異常則返回null磷杏。

Fork/Join框架的實現原理

ForkJoinPool由ForkJoinTask數組和ForkJoinWorkerThread數組組成,ForkJoinTask數組負責存放程序提交給ForkJoinPool的任務捏卓,而ForkJoinWorkerThread數組負責執(zhí)行這些任務极祸。

ForkJoinTask的fork方法實現原理。當我們調用ForkJoinTask的fork方法時怠晴,程序會調用ForkJoinWorkerThread的pushTask方法異步的執(zhí)行這個任務遥金,然后立即返回結果。代碼如下:

public final ForkJoinTask fork() {
        ((ForkJoinWorkerThread) Thread.currentThread())
            .pushTask(this);
        return this;
}

pushTask方法把當前任務存放在ForkJoinTask 數組queue里蒜田。然后再調用ForkJoinPool的signalWork()方法喚醒或創(chuàng)建一個工作線程來執(zhí)行任務稿械。代碼如下:

final void pushTask(ForkJoinTask t) {
        ForkJoinTask[] q; int s, m;
        if ((q = queue) != null) {    // ignore if queue removed
            long u = (((s = queueTop) & (m = q.length - 1)) << ASHIFT) + ABASE;
            UNSAFE.putOrderedObject(q, u, t);
            queueTop = s + 1;         // or use putOrderedInt
            if ((s -= queueBase) <= 2)
                pool.signalWork();
    else if (s == m)
                growQueue();
        }
    }

ForkJoinTask的join方法實現原理。Join方法的主要作用是阻塞當前線程并等待獲取結果冲粤。讓我們一起看看ForkJoinTask的join方法的實現美莫,代碼如下:

public final V join() {
        if (doJoin() != NORMAL)
            return reportResult();
        else
            return getRawResult();
}
private V reportResult() {
        int s; Throwable ex;
        if ((s = status) == CANCELLED)
            throw new CancellationException();
if (s == EXCEPTIONAL && (ex = getThrowableException()) != null)
            UNSAFE.throwException(ex);
        return getRawResult();
}

首先,它調用了doJoin()方法梯捕,通過doJoin()方法得到當前任務的狀態(tài)來判斷返回什么結果茂嗓,任務狀態(tài)有四種:已完成(NORMAL),被取消(CANCELLED)科阎,信號(SIGNAL)和出現異常(EXCEPTIONAL)述吸。

如果任務狀態(tài)是已完成,則直接返回任務結果。
如果任務狀態(tài)是被取消蝌矛,則直接拋出CancellationException道批。
如果任務狀態(tài)是拋出異常,則直接拋出對應的異常入撒。

讓我們再來分析下doJoin()方法的實現代碼:

private int doJoin() {
        Thread t; ForkJoinWorkerThread w; int s; boolean completed;
        if ((t = Thread.currentThread()) instanceof ForkJoinWorkerThread) {
            if ((s = status) < 0)
 return s;
            if ((w = (ForkJoinWorkerThread)t).unpushTask(this)) {
                try {
                    completed = exec();
                } catch (Throwable rex) {
                    return setExceptionalCompletion(rex);
                }
                if (completed)
                    return setCompletion(NORMAL);
            }
            return w.joinTask(this);
        }
        else
            return externalAwaitDone();
    }

在doJoin()方法里隆豹,首先通過查看任務的狀態(tài),看任務是否已經執(zhí)行完了茅逮,如果執(zhí)行完了璃赡,則直接返回任務狀態(tài),如果沒有執(zhí)行完献雅,則從任務數組里取出任務并執(zhí)行碉考。如果任務順利執(zhí)行完成了,則設置任務狀態(tài)為NORMAL挺身,如果出現異常侯谁,則紀錄異常,并將任務狀態(tài)設置為EXCEPTIONAL章钾。

參考資料

轉載請注明出處:http://www.reibang.com/u/c864df301e25

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
禁止轉載墙贱,如需轉載請通過簡信或評論聯系作者。
  • 序言:七十年代末贱傀,一起剝皮案震驚了整個濱河市惨撇,隨后出現的幾起案子,更是在濱河造成了極大的恐慌府寒,老刑警劉巖串纺,帶你破解...
    沈念sama閱讀 222,183評論 6 516
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現場離奇詭異椰棘,居然都是意外死亡纺棺,警方通過查閱死者的電腦和手機,發(fā)現死者居然都...
    沈念sama閱讀 94,850評論 3 399
  • 文/潘曉璐 我一進店門邪狞,熙熙樓的掌柜王于貴愁眉苦臉地迎上來祷蝌,“玉大人,你說我怎么就攤上這事帆卓【揠” “怎么了?”我有些...
    開封第一講書人閱讀 168,766評論 0 361
  • 文/不壞的土叔 我叫張陵剑令,是天一觀的道長糊啡。 經常有香客問我,道長吁津,這世上最難降的妖魔是什么棚蓄? 我笑而不...
    開封第一講書人閱讀 59,854評論 1 299
  • 正文 為了忘掉前任堕扶,我火速辦了婚禮,結果婚禮上梭依,老公的妹妹穿的比我還像新娘稍算。我一直安慰自己,他們只是感情好役拴,可當我...
    茶點故事閱讀 68,871評論 6 398
  • 文/花漫 我一把揭開白布糊探。 她就那樣靜靜地躺著,像睡著了一般河闰。 火紅的嫁衣襯著肌膚如雪科平。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,457評論 1 311
  • 那天姜性,我揣著相機與錄音瞪慧,去河邊找鬼。 笑死污抬,一個胖子當著我的面吹牛汞贸,可吹牛的內容都是我干的绳军。 我是一名探鬼主播印机,決...
    沈念sama閱讀 40,999評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼门驾!你這毒婦竟也來了射赛?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 39,914評論 0 277
  • 序言:老撾萬榮一對情侶失蹤奶是,失蹤者是張志新(化名)和其女友劉穎楣责,沒想到半個月后,有當地人在樹林里發(fā)現了一具尸體聂沙,經...
    沈念sama閱讀 46,465評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡秆麸,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 38,543評論 3 342
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現自己被綠了及汉。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片沮趣。...
    茶點故事閱讀 40,675評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖坷随,靈堂內的尸體忽然破棺而出房铭,到底是詐尸還是另有隱情,我是刑警寧澤温眉,帶...
    沈念sama閱讀 36,354評論 5 351
  • 正文 年R本政府宣布缸匪,位于F島的核電站,受9級特大地震影響类溢,放射性物質發(fā)生泄漏凌蔬。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 42,029評論 3 335
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望龟梦。 院中可真熱鬧隐锭,春花似錦、人聲如沸计贰。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,514評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽躁倒。三九已至荞怒,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間秧秉,已是汗流浹背褐桌。 一陣腳步聲響...
    開封第一講書人閱讀 33,616評論 1 274
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留象迎,地道東北人荧嵌。 一個月前我還...
    沈念sama閱讀 49,091評論 3 378
  • 正文 我出身青樓,卻偏偏與公主長得像砾淌,于是被迫代替她去往敵國和親啦撮。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 45,685評論 2 360

推薦閱讀更多精彩內容

  • 1.落筆緣由 由于之前希望對Java異步操作進行一次梳理汪厨,碰巧看到了Fork/Join,之前并沒有了解過赃春,所以借這...
    lgy_gg閱讀 2,705評論 0 10
  • 一、多線程 說明下線程的狀態(tài) java中的線程一共有 5 種狀態(tài)劫乱。 NEW:這種情況指的是织中,通過 New 關鍵字創(chuàng)...
    Java旅行者閱讀 4,685評論 0 44
  • 什么是Fork/Join框架 Fork/Join框架是Java7提供了的一個用于并行執(zhí)行任務的框架,采用類似于分治...
    碼農歷險記閱讀 2,219評論 0 2
  • 很早就想去重慶 想吃正宗重慶火鍋 想坐長江索道 體驗輕軌 想看重慶美女 上網刷到特價機票 就和小伙伴來了一場說走就...
    于十月十日閱讀 579評論 10 8
  • 親愛的路人甲 上篇 第一節(jié) 七七的訂婚戒 七七訂婚了衷戈,周虹幾乎是前腳踏進家門狭吼,就從老媽口中得知這個意外的消息≈掣荆“...
    爾舟泛舟閱讀 208評論 0 0