[JAVA][Fork/Join實現并行編程]

1.落筆緣由

由于之前希望對Java異步操作進行一次梳理惜颇,碰巧看到了Fork/Join,之前并沒有了解過皆刺,所以借這次機會來了解一下它的用途。

2.Fork/Join作用

Fork/Join框架是Java7提供了的一個用于并行執(zhí)行任務的框架凌摄, 是一個把大任務分割成若干個小任務羡蛾,最終匯總每個小任務結果后得到大任務結果的框架。Fork/Join框架是ExecutorService接口的一種具體實現锨亏,目的是為了幫助你更好地利用多處理器帶來的好處痴怨。它是為那些能夠被遞歸地拆解成子任務的工作類型量身設計的。其目的在于能夠使用所有可用的運算能力來提升你的應用的性能器予。
和ExecutorService接口的其他實現一樣(其實我正是在整理ExecutorService的SingleThreadExecutor等子類的時候浪藻,看到了WorkStealingPool,才進而接觸到Fork/Join框架)乾翔,Fork/Join會將任務分發(fā)給線程池中的工作線程爱葵。Fork/Join使用工作竊取(work-stealing)算法。那么什么是工作竊取方法反浓?簡單來說就是某個線程從其他隊列里竊取任務來執(zhí)行萌丈。我們知道Fork/Join的作用就是將一個大任務分為若干小任務,最后將這些小任務的執(zhí)行結果整合起來得到大任務的結果雷则。而Fork/Join把這些子任務分別放到不同的隊列里辆雾,并為每個隊列創(chuàng)建一個單獨的線程來執(zhí)行隊列里的任務。那么這里就會出現一種情況月劈,有些線程的任務隊列里的任務已經完成度迂,但其他線程的隊列還有任務沒完成,這樣就造成已完成任務線程閑置猜揪,這也太浪費了吧惭墓,所以為了提高效率,完成自己的任務而處于空閑的工作線程能夠從其他仍然處于忙碌(busy)狀態(tài)的工作線程處竊取等待執(zhí)行的任務而姐。為了減少竊取任務線程和被竊取任務線程之間的競爭诅妹,通常會使用雙端隊列,被竊取任務線程永遠從雙端隊列的頭部拿任務執(zhí)行,而竊取任務的線程永遠從雙端隊列的尾部拿任務執(zhí)行吭狡。
Fork/Join框架的核心是ForkJoinPool
類:

//ForkJoinPool繼承抽象類AbstractExecutorService
ForkJoinPool extends AbstractExecutorService
//而AbstractExecutorService實現的是ExecutorService接口
AbstractExecutorService implements ExecutorService

//創(chuàng)建ForkJoinPool對象:
//使用Runtime.availableProcessors()獲取的數值作為并行級別;使用默認的default thread factory丈莺;UncaughtExceptionHandler為空划煮;非異步LIFO模式。
public ForkJoinPool()
//使用指定數值(parallelism)作為并行級別缔俄;使用默認的default thread factory弛秋;UncaughtExceptionHandler為空;非異步LIFO模式俐载。
public ForkJoinPool(int parallelism)

//通過Executors創(chuàng)建ForkJoinPool對象
ForkJoinPool forkJoinPool = (ForkJoinPool) Executors.newWorkStealingPool();

ForkJoinPool實現了工作偷取算法蟹略,通過執(zhí)行ForkJoinTask任務來實現。

3.執(zhí)行過程

Fork/Join的執(zhí)行過程主要有兩步:
第一步分割任務遏佣。通過ForkJoinTask對象挖炬,調用fork()方法把大任務分割成子任務。
第二步執(zhí)行任務并合并結果状婶。分割的子任務分別放在雙端隊列里意敛,然后幾個啟動線程分別從雙端隊列里獲取任務執(zhí)行。子任務執(zhí)行完的結果都統(tǒng)一放在一個隊列里膛虫,啟動一個線程從隊列里拿數據草姻,然后合并這些數據,而子任務執(zhí)行的結果是通過ForkJoinTask的join()方法獲取的稍刀。
下面說一下ForkJoinTask撩独,ForkJoinTask有點像Thread的Runable,都是用來定義要執(zhí)行的任務的。
ForkJoinTask有兩個子類:
RecursiveAction:用于沒有返回結果的任務账月。
RecursiveTask :用于有返回結果的任務综膀。
具體可以看一下oracle的Fork and Join: Java Can Excel at Painless Parallel Programming Too!
這篇文章,里面有介紹使用Fork/Join框架的例子(是關于計算文檔中的單詞出現次數)捶障,下面這個類就是這個例子中的僧须,他繼承了RecursiveTask ,返回一個Long型的結果项炼。

public class FolderSearchTask extends RecursiveTask<Long> {
    private final Folder folder;
    private final String searchedWord;
    
    FolderSearchTask(Folder folder, String searchedWord) {
        super();
        this.folder = folder;
        this.searchedWord = searchedWord;
    }
    
    @Override
    protected Long compute() {
        long count = 0L;
        List<RecursiveTask<Long>> forks = new LinkedList<>();
        for (Folder subFolder : folder.getSubFolders()) {
            FolderSearchTask task = new FolderSearchTask(subFolder, searchedWord);
            forks.add(task);
            task.fork();
        }
        for (Document document : folder.getDocuments()) {
            DocumentSearchTask task = new DocumentSearchTask(document, searchedWord);
            forks.add(task);
            task.fork();
        }
        for (RecursiveTask<Long> task : forks) {
            count = count + task.join();
        }
        return count;
    }
}

4.Fork/Join的基本用法

在Oracle的文檔里有關于Fork/Join的用法担平。基本思維就是給出是否需要將當前任務分成小任務的條件锭部。

if (當前這個任務工作量足夠小)
    直接完成這個任務
else
    將這個任務分解成兩個部分
    分別觸發(fā)(invoke)這兩個子任務的執(zhí)行暂论,并等待結果

這個操作是發(fā)生在ForkJoinTask里的compute()方法里,不管是繼承RecursiveAction還是RecursiveTask 拌禾,都要重寫compute()取胎。

5.例子解析

1)定義任務

下面是一個關于計算斐波那契數列的例子,由于我嗎要計算指定長度斐波那契數列的和,所以我們的任務是需要有返回值的,所以繼承RecursiveTask闻蛀,定義返回值是Long型匪傍。而在compute()方法里,就是當斐波那契數列數字的個數小于10就直接返回這10個值的和觉痛,而大于10的時候役衡,就將這個任務分成兩個小任務。

public class FibonacciTask extends RecursiveTask<Long>
{
    private static final long serialVersionUID = 1L;
    private List<Long> mList = null;
    private int size = 0;
    
    public FibonacciTask(List<Long> list, int size)
    {
        mList = list;
        this.size = size;
        System.out.println("num:"+(++Num.num));
    }
    
    @Override
    protected Long compute()
    {

        if (mList!=null)
        {
            if (mList.size()<10)
            {
                return cal(mList);
            }else
            {
                List<List<Long>> lists = averageAssign(mList,2);
                FibonacciTask fibonacciTask1 = new FibonacciTask(lists.get(0), 5);
                FibonacciTask fibonacciTask2 = new FibonacciTask(lists.get(1), 5);
                fibonacciTask1.fork();
                fibonacciTask2.fork();
                System.out.println("list0:"+lists.get(0).size()+" list1:"+lists.get(1).size());
                return fibonacciTask1.join()+fibonacciTask2.join();
            }
        }
        return null;
    }

    private long cal(List<Long> list)
    {
        long total = 0;
        for (int i = 0; i < list.size(); i++)
        {
            total = list.get(i)+total;
        }
        return total;
    }
    
    /** 
     * 將一個list均分成n個list,主要通過偏移量來實現的 
     * @param source 
     * @return 
     */  
    public static <T> List<List<T>> averageAssign(List<T> source,int n){  
        List<List<T>> result=new ArrayList<List<T>>();  
        int remaider=source.size()%n;  //(先計算出余數)  
        int number=source.size()/n;  //然后是商  
        int offset=0;//偏移量  
        for(int i=0;i<n;i++){  
            List<T> value=null;  
            if(remaider>0){  
                value=source.subList(i*number+offset, (i+1)*number+offset+1);  
                remaider--;  
                offset++;  
            }else{  
                value=source.subList(i*number+offset, (i+1)*number+offset);  
            }  
            result.add(value);  
        }  
        return result;  
    } 
}

2)執(zhí)行任務

在執(zhí)行任務之前薪棒,我們先生成通過下面的createFibonacci方法生成一個斐波那契數列手蝎。然后通過ForkJoinPool 對象調用submit方法執(zhí)行FibonacciTask 任務。

/**
 * @author LGY
 * @time 2017-4-8
 * @action 
 */
public class TestFibonacci
{

    public static void main(String[] args)
    {
        long startTime;
        long stopTime;
        long singleThreadTimes;
        FibonacciTask fibonacciTask = new FibonacciTask(createFibonacci(0, 1, 100), 5);
        ForkJoinPool forkJoinPool = new ForkJoinPool();
        startTime = System.currentTimeMillis();
        Future<Long> future = forkJoinPool.submit(fibonacciTask);
        stopTime = System.currentTimeMillis();
        singleThreadTimes = (stopTime - startTime);
        System.out.println(  " fork / join search took "
                + singleThreadTimes + "ms");
        try
        {
            System.out.println("result:"+future.get());
        } catch (Exception e)
        {
            e.printStackTrace();
        }

    }
    
    
    /**
     * @author LGY
     * @action 生成指定長度斐波那契數列
     * @time 2017-4-9
     * @param first 第一個值
     * @param secend 第一個值
     * @param size 斐波那契數列長度
     * @return
     */
    private static List<Long> createFibonacci(long first , long secend , int size)
    {
        List<Long> list = new ArrayList<Long>();
        long total = 0;
        long startTime;
        long stopTime;
        long singleThreadTimes;
        if (size == 1)
        {
            list.add(first);
        }else if (size == 2)
        {
            list.add(first);
            list.add(secend);
        }else if (size>2) {
            list.add(first);
            list.add(secend);
            for (int i = 0; i < size-2; i++)
            {
                list.add(list.get(i)+list.get(i+1));
            }
        }
        System.out.print("[");
        startTime = System.currentTimeMillis();
        for (int i = 0; i < list.size(); i++)
        {
            System.out.print(list.get(i)+" ");
            total = list.get(i)+total;
        }
        System.out.print("]"+"result:"+total);
        stopTime = System.currentTimeMillis();
        singleThreadTimes = (stopTime - startTime);
        System.out.println();
        System.out.println(  " single thread search took "
                + singleThreadTimes + "ms");

        return list;
    }
}

6.總結

關于Fork/Join的Fork and Join: Java Can Excel at Painless Parallel Programming Too!一文的例子源碼可以到http://www.oracle.com/technetwork/articles/java/forkjoinsources-430155.zip下載俐芯,也可以在本文文章的源碼地址處獲取棵介。
在這個源碼的WordCounter類中,需要傳三個參數給main方法吧史,右擊WordCounter類邮辽,點擊Run As-->Run Configurations,選擇頁卡Arguments
輸入三個參數,第一個是文檔地址扣蜻,第二個是要計算出現了多少次的單詞逆巍,最后一個是要重復執(zhí)行任務的次數

設置參數

指定文件路徑下的文檔

7.參考文章

http://docs.oracle.com/javase/tutorial/essential/concurrency/forkjoin.html
http://www.oracle.com/technetwork/articles/java/fork-join-422606.html
Fork and Join: Java Can Excel at Painless Parallel Programming Too!譯文資料

8.源碼地址

http://download.csdn.net/detail/lgywsdy/9808408

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市莽使,隨后出現的幾起案子锐极,更是在濱河造成了極大的恐慌,老刑警劉巖芳肌,帶你破解...
    沈念sama閱讀 217,907評論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件灵再,死亡現場離奇詭異,居然都是意外死亡亿笤,警方通過查閱死者的電腦和手機翎迁,發(fā)現死者居然都...
    沈念sama閱讀 92,987評論 3 395
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來净薛,“玉大人汪榔,你說我怎么就攤上這事∷喟荩” “怎么了痴腌?”我有些...
    開封第一講書人閱讀 164,298評論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長燃领。 經常有香客問我士聪,道長,這世上最難降的妖魔是什么猛蔽? 我笑而不...
    開封第一講書人閱讀 58,586評論 1 293
  • 正文 為了忘掉前任剥悟,我火速辦了婚禮灵寺,結果婚禮上,老公的妹妹穿的比我還像新娘区岗。我一直安慰自己略板,他們只是感情好,可當我...
    茶點故事閱讀 67,633評論 6 392
  • 文/花漫 我一把揭開白布慈缔。 她就那樣靜靜地躺著蚯根,像睡著了一般。 火紅的嫁衣襯著肌膚如雪胀糜。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,488評論 1 302
  • 那天蒂誉,我揣著相機與錄音教藻,去河邊找鬼。 笑死右锨,一個胖子當著我的面吹牛括堤,可吹牛的內容都是我干的。 我是一名探鬼主播绍移,決...
    沈念sama閱讀 40,275評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼悄窃,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了蹂窖?” 一聲冷哼從身側響起轧抗,我...
    開封第一講書人閱讀 39,176評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎瞬测,沒想到半個月后横媚,有當地人在樹林里發(fā)現了一具尸體,經...
    沈念sama閱讀 45,619評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡月趟,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,819評論 3 336
  • 正文 我和宋清朗相戀三年灯蝴,在試婚紗的時候發(fā)現自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片孝宗。...
    茶點故事閱讀 39,932評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡穷躁,死狀恐怖,靈堂內的尸體忽然破棺而出因妇,到底是詐尸還是另有隱情问潭,我是刑警寧澤,帶...
    沈念sama閱讀 35,655評論 5 346
  • 正文 年R本政府宣布沙峻,位于F島的核電站睦授,受9級特大地震影響,放射性物質發(fā)生泄漏摔寨。R本人自食惡果不足惜去枷,卻給世界環(huán)境...
    茶點故事閱讀 41,265評論 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧删顶,春花似錦竖螃、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,871評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至录粱,卻和暖如春腻格,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背啥繁。 一陣腳步聲響...
    開封第一講書人閱讀 32,994評論 1 269
  • 我被黑心中介騙來泰國打工菜职, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人旗闽。 一個月前我還...
    沈念sama閱讀 48,095評論 3 370
  • 正文 我出身青樓酬核,卻偏偏與公主長得像,于是被迫代替她去往敵國和親适室。 傳聞我的和親對象是個殘疾皇子嫡意,可洞房花燭夜當晚...
    茶點故事閱讀 44,884評論 2 354

推薦閱讀更多精彩內容