一、需求緣起
Web-Server通常有個(gè)配置，最大工作線程數(shù)杂曲，后端服務(wù)一般也有個(gè)配置，工作線程池的線程數(shù)量袁余，這個(gè)線程數(shù)的配置不同的業(yè)務(wù)架構(gòu)師有不同的經(jīng)驗(yàn)值擎勘，有些業(yè)務(wù)設(shè)置為CPU核數(shù)的2倍，有些業(yè)務(wù)設(shè)置為CPU核數(shù)的8倍颖榜，有些業(yè)務(wù)設(shè)置為CPU核數(shù)的32倍棚饵。
“工作線程數(shù)”的設(shè)置依據(jù)是什么，到底設(shè)置為多少能夠最大化CPU性能朱转，是本文要討論的問題蟹地。
二、一些共性認(rèn)知
在進(jìn)行進(jìn)一步深入討論之前藤为，先以提問的方式就一些共性認(rèn)知達(dá)成一致怪与。
提問：工作線程數(shù)是不是設(shè)置的越大越好？
回答：肯定不是的
1）一來服務(wù)器CPU核數(shù)有限缅疟，同時(shí)并發(fā)的線程數(shù)是有限的分别，1核CPU設(shè)置10000個(gè)工作線程沒有意義
2）線程切換是有開銷的，如果線程切換過于頻繁存淫，反而會(huì)使性能降低
提問：調(diào)用sleep()****函數(shù)的時(shí)候耘斩，線程是否一直占用CPU****？
回答：不占用桅咆，等待時(shí)會(huì)把CPU讓出來括授，給其他需要CPU資源的線程使用
不止調(diào)用sleep()函數(shù)，在進(jìn)行一些阻塞調(diào)用，例如網(wǎng)絡(luò)編程中的阻塞accept()【等待客戶端連接】和阻塞recv()【等待下游回包】也不占用CPU資源
提問：如果CPU****是單核荚虚，設(shè)置多線程有意義么薛夜，能提高并發(fā)性能么？
回答：即使是單核版述，使用多線程也是有意義的
1）多線程編碼可以讓我們的服務(wù)/代碼更加清晰梯澜，有些IO線程收發(fā)包，有些Worker線程進(jìn)行任務(wù)處理渴析，有些Timeout線程進(jìn)行超時(shí)檢測(cè)
2）如果有一個(gè)任務(wù)一直占用CPU資源在進(jìn)行計(jì)算晚伙，那么此時(shí)增加線程并不能增加并發(fā)，例如這樣的一個(gè)代碼
while(1){ i++; }
該代碼一直不停的占用CPU資源進(jìn)行計(jì)算俭茧，會(huì)使CPU占用率達(dá)到100%
3）通常來說咆疗，Worker線程一般不會(huì)一直占用CPU進(jìn)行計(jì)算，此時(shí)即使CPU是單核恢恼，增加Worker線程也能夠提高并發(fā)民傻，因?yàn)檫@個(gè)線程在休息的時(shí)候胰默，其他的線程可以繼續(xù)工作
三场斑、常見服務(wù)線程模型
了解常見的服務(wù)線程模型，有助于理解服務(wù)并發(fā)的原理牵署，一般來說互聯(lián)網(wǎng)常見的服務(wù)線程模型有如下兩種
IO****線程與工作線程通過隊(duì)列解耦類模型
如上圖漏隐，大部分Web-Server與服務(wù)框架都是使用這樣的一種“IO線程與Worker線程通過隊(duì)列解耦”類線程模型：
1）有少數(shù)幾個(gè)IO線程監(jiān)聽上游發(fā)過來的請(qǐng)求，并進(jìn)行收發(fā)包（生產(chǎn)者）
2）有一個(gè)或者多個(gè)任務(wù)隊(duì)列奴迅，作為IO線程與Worker線程異步解耦的數(shù)據(jù)傳輸通道（臨界資源）
3）有多個(gè)工作線程執(zhí)行正真的任務(wù)（消費(fèi)者）
這個(gè)線程模型應(yīng)用很廣青责，符合大部分場(chǎng)景，這個(gè)線程模型的特點(diǎn)是取具，工作線程內(nèi)部是同步阻塞執(zhí)行任務(wù)的（回想一下tomcat線程中是怎么執(zhí)行Java程序的脖隶，dubbo工作線程中是怎么執(zhí)行任務(wù)的），因此可以通過增加Worker線程數(shù)來增加并發(fā)能力暇检，今天要討論的重點(diǎn)是“該模型Worker線程數(shù)設(shè)置為多少能達(dá)到最大的并發(fā)”产阱。
純異步線程模型
任何地方都沒有阻塞，這種線程模型只需要設(shè)置很少的線程數(shù)就能夠做到很高的吞吐量块仆，Lighttpd有一種單進(jìn)程單線程模式构蹬，并發(fā)處理能力很強(qiáng)，就是使用的的這種模型悔据。該模型的缺點(diǎn)是：
1）如果使用單線程模式庄敛，難以利用多CPU多核的優(yōu)勢(shì)
2）程序員更習(xí)慣寫同步代碼，callback的方式對(duì)代碼的可讀性有沖擊科汗，對(duì)程序員的要求也更高
3）框架更復(fù)雜藻烤，往往需要server端收發(fā)組件，server端隊(duì)列，client端收發(fā)組件怖亭，client端隊(duì)列之众，上下文管理組件，有限狀態(tài)機(jī)組件依许，超時(shí)管理組件的支持
however棺禾，這個(gè)模型不是今天討論的重點(diǎn)。
四峭跳、工作線程的工作模式
了解工作線程的工作模式膘婶，對(duì)量化分析線程數(shù)的設(shè)置非常有幫助：
上圖是一個(gè)典型的工作線程的處理過程，從開始處理start到結(jié)束處理end蛀醉，該任務(wù)的處理共有7個(gè)步驟：
1）從工作隊(duì)列里拿出任務(wù)悬襟，進(jìn)行一些本地初始化計(jì)算，例如http協(xié)議分析拯刁、參數(shù)解析脊岳、參數(shù)校驗(yàn)等
2）訪問cache拿一些數(shù)據(jù)
3）拿到cache里的數(shù)據(jù)后，再進(jìn)行一些本地計(jì)算垛玻，這些計(jì)算和業(yè)務(wù)邏輯相關(guān)
4）通過RPC調(diào)用下游service再拿一些數(shù)據(jù)割捅，或者讓下游service去處理一些相關(guān)的任務(wù)
5）RPC調(diào)用結(jié)束后，再進(jìn)行一些本地計(jì)算帚桩，怎么計(jì)算和業(yè)務(wù)邏輯相關(guān)
6）訪問DB進(jìn)行一些數(shù)據(jù)操作
7）操作完數(shù)據(jù)庫(kù)之后做一些收尾工作亿驾，同樣這些收尾工作也是本地計(jì)算，和業(yè)務(wù)邏輯相關(guān)
分析整個(gè)處理的時(shí)間軸账嚎，會(huì)發(fā)現(xiàn)：
1）其中1莫瞬，3，5郭蕉，7步驟中【上圖中粉色時(shí)間軸】疼邀，線程進(jìn)行本地業(yè)務(wù)邏輯計(jì)算時(shí)需要占用****CPU
2）而2，4召锈，6步驟中【上圖中橙色時(shí)間軸】旁振，訪問cache、service烟勋、DB過程中線程處于一個(gè)等待結(jié)果的狀態(tài)规求，不需要占用****CPU，進(jìn)一步的分解卵惦，這個(gè)“等待結(jié)果”的時(shí)間共分為三部分：
2.1）請(qǐng)求在網(wǎng)絡(luò)上傳輸?shù)较掠蔚腸ache阻肿、service、DB
2.2）下游cache沮尿、service丛塌、DB進(jìn)行任務(wù)處理
2.3）cache较解、service、DB將報(bào)文在網(wǎng)絡(luò)上傳回工作線程
五赴邻、量化分析并合理設(shè)置工作線程數(shù)
最后一起來回答工作線程數(shù)設(shè)置為多少合理的問題印衔。
通過上面的分析，Worker線程在執(zhí)行的過程中姥敛，有一部計(jì)算時(shí)間需要占用CPU奸焙，另一部分等待時(shí)間不需要占用CPU，通過量化分析彤敛，例如打日志進(jìn)行統(tǒng)計(jì)与帆，可以統(tǒng)計(jì)出整個(gè)Worker線程執(zhí)行過程中這兩部分時(shí)間的比例，例如：
1）時(shí)間軸1墨榄，3玄糟，5，7【上圖中粉色時(shí)間軸】的計(jì)算執(zhí)行時(shí)間是100ms
2）時(shí)間軸2袄秩，4阵翎，6【上圖中橙色時(shí)間軸】的等待時(shí)間也是100ms
得到的結(jié)果是，這個(gè)線程計(jì)算和等待的時(shí)間是1：1之剧，即有50%的時(shí)間在計(jì)算（占用CPU）郭卫，50%的時(shí)間在等待（不占用CPU）：
1）假設(shè)此時(shí)是單核，則設(shè)置為2個(gè)工作線程就可以把CPU充分利用起來猪狈，讓CPU跑到100%
2）假設(shè)此時(shí)是N核箱沦，則設(shè)置為2N個(gè)工作現(xiàn)場(chǎng)就可以把CPU充分利用起來，讓CPU跑到N*100%
結(jié)論：
N核服務(wù)器雇庙，通過執(zhí)行業(yè)務(wù)的單線程分析出本地計(jì)算時(shí)間為x，等待時(shí)間為y灶伊，則工作線程數(shù)（線程池線程數(shù)）設(shè)置為 N*(x+y)/x疆前，能讓CPU的利用率最大化。
經(jīng)驗(yàn)：
一般來說聘萨，非CPU密集型的業(yè)務(wù)（加解密竹椒、壓縮解壓縮、搜索排序等業(yè)務(wù)是CPU密集型的業(yè)務(wù)）米辐，瓶頸都在后端數(shù)據(jù)庫(kù)胸完，本地CPU計(jì)算的時(shí)間很少，所以設(shè)置幾十或者幾百個(gè)工作線程也都是可能的翘贮。
六赊窥、結(jié)論
N核服務(wù)器，通過執(zhí)行業(yè)務(wù)的單線程分析出本地計(jì)算時(shí)間為x狸页，等待時(shí)間為y锨能，則工作線程數(shù)（線程池線程數(shù)）設(shè)置為 N*(x+y)/x，能讓CPU的利用率最大化
