目前存在的挑戰(zhàn)
- 上下文切換問題
- 線程死鎖問題
- 硬件和軟件資源限制問題
上下文切換
單核處理器也支持多線程執(zhí)行代碼,CPU通過給每個線程分配CPU時間片來實(shí)現(xiàn)手趣。時間片是CPU分配給各個線程的時間,因?yàn)闀r間片非常短,所以CPU通過不停地切換線程執(zhí)行芝此,讓我們感覺多個線程是同時執(zhí)行的,時間片一般是幾十毫秒(ms)因痛。
CPU通過時間片分配算法來執(zhí)行任務(wù)婚苹,當(dāng)前任務(wù)執(zhí)行一個時間片后會切換到下一個任務(wù)。但是鸵膏,在切換前會保存上一個任務(wù)的狀態(tài)膊升,以便下次切換回這個任務(wù)時,可以再加載這個任務(wù)的狀態(tài)谭企。任務(wù)從保存到再加載的過程就叫做上下文切換廓译。
減少上下文切換
- 無鎖并發(fā)編程
多線程競爭鎖時會引起上下文切換,所以多線程處理數(shù)據(jù)時债查,可以使用一些方法來避免使用鎖非区,如將數(shù)據(jù)的ID按照Hash算法取模分段,不同線程處理不同段的數(shù)據(jù)盹廷。
- CAS算法
Java的Atomic包使用CAS算法來更新數(shù)據(jù)征绸,而不需要加鎖。
- 使用最少線程
避免創(chuàng)建不需要的線程,任務(wù)少的話創(chuàng)建大量線程會使它們中大多數(shù)都處于等待狀態(tài)管怠,而每一次WAITTING到RUNNABLE都會進(jìn)行一次上下文的切換淆衷。
- 協(xié)程
在單線程里實(shí)現(xiàn)多任務(wù)的調(diào)度,并在單線程里維持多個任務(wù)間的切換渤弛。
死鎖
避免死鎖的幾個常見的方法:
1.避免一個線程同時獲取多個鎖
2. 避免一個線程在鎖內(nèi)同時占用多個資源祝拯,盡量保證每個鎖只占用一個資源
3. 嘗試使用定時鎖,使用lock.tryLock(timeout)來替代使用內(nèi)部鎖機(jī)制
4. 對于數(shù)據(jù)庫鎖暮芭,加鎖和解鎖必須在一個數(shù)據(jù)庫連接里鹿驼,否則會出現(xiàn)解鎖失敗的情況
資源限制
帶寬限制、硬盤讀寫速度限制辕宏、CPU處理速度限制畜晰、數(shù)據(jù)庫連接數(shù)限制和socket連接數(shù)限制
受限于資源限制時,有些情況下并發(fā)執(zhí)行的代碼仍然在串行執(zhí)行瑞筐,這時候不僅不會加快執(zhí)行反而會更慢凄鼻,因?yàn)樵黾恿松舷挛那袚Q和資源調(diào)度的時間。
解決資源限制
考慮使用集群并行執(zhí)行程序聚假,如ODPS块蚌、Hadoop或自己搭建的服務(wù)器集群。通過"數(shù)據(jù)ID%機(jī)器數(shù)"膘格,計(jì)算得到一個機(jī)器編號峭范,然后由對應(yīng)編號的機(jī)器處理這筆數(shù)據(jù)。
根據(jù)不同的資源限制調(diào)整程序的并發(fā)度瘪贱,如下載文件依賴兩個資源--帶寬和硬盤讀寫速度纱控。數(shù)據(jù)庫操作涉及到連接數(shù),如果SQL語句執(zhí)行非巢饲兀快甜害,而線程的數(shù)量比數(shù)據(jù)庫連接數(shù)大很多,則某些線程會被阻塞等待數(shù)據(jù)庫連接球昨,所以需要調(diào)整并發(fā)度尔店。