服務(wù)器Tomcat 的連接數(shù)與線程池詳解

前言

在使用tomcat時愧哟，經(jīng)常會遇到連接數(shù)劣挫、線程數(shù)之類的配置問題似谁，要真正理解這些概念傲绣，必須先了解Tomcat的連接器(Connector)。

在前面的文章詳解Tomcat配置文件server.xml 中寫到過：Connector的主要功能巩踏，是接收連接請求秃诵，創(chuàng)建Request和Response對象用于和請求端交換數(shù)據(jù);然后分配線程讓Engine(也就是Servlet容器)來處理這個請求，并把產(chǎn)生的Request和Response對象傳給Engine塞琼。當(dāng)Engine處理完請求后菠净，也會通過Connector將響應(yīng)返回給客戶端。

一彪杉、Nio毅往、Bio、APR

1派近、Connector的protocol

Connector在處理HTTP請求時攀唯，會使用不同的protocol。不同的Tomcat版本支持的protocol不同渴丸，其中最典型的protocol包括BIO革答、NIO和APR(Tomcat7中支持這3種，Tomcat8增加了對NIO2的支持曙强，而到了Tomcat8.5和Tomcat9.0残拐，則去掉了對BIO的支持)。

BIO是Blocking IO碟嘴，顧名思義是阻塞的IO;NIO是Non-blocking IO溪食，則是非阻塞的IO。而APR是Apache Portable Runtime娜扇，是Apache可移植運(yùn)行庫错沃，利用本地庫可以實現(xiàn)高可擴(kuò)展性、高性能;Apr是在Tomcat上運(yùn)行高并發(fā)應(yīng)用的首選模式雀瓢，但是需要安裝apr枢析、apr-utils、tomcat-native等包刃麸。點(diǎn)擊查看 Tomcat Server 配置文件詳解醒叁。

2、如何指定protocol

Connector使用哪種protocol，可以通過元素中的protocol屬性進(jìn)行指定把沼，也可以使用默認(rèn)值啊易。

指定的protocol取值及對應(yīng)的協(xié)議如下：

HTTP/1.1：默認(rèn)值，使用的協(xié)議與Tomcat版本有關(guān)

org.apache.coyote.http11.Http11Protocol：BIO

org.apache.coyote.http11.Http11NioProtocol：NIO

org.apache.coyote.http11.Http11Nio2Protocol：NIO2

org.apache.coyote.http11.Http11AprProtocol：APR

如果沒有指定protocol饮睬，則使用默認(rèn)值HTTP/1.1租谈，其含義如下：在Tomcat7中，自動選取使用BIO或APR(如果找到APR需要的本地庫捆愁，則使用APR割去，否則使用BIO);在Tomcat8中，自動選取使用NIO或APR(如果找到APR需要的本地庫昼丑，則使用APR劫拗，否則使用NIO)。

3矾克、BIO/NIO有何不同

無論是BIO页慷，還是NIO，Connector處理請求的大致流程是一樣的：

在accept隊列中接收連接(當(dāng)客戶端向服務(wù)器發(fā)送請求時胁附，如果客戶端與OS完成三次握手建立了連接酒繁，則OS將該連接放入accept隊列);在連接中獲取請求的數(shù)據(jù)，生成request;調(diào)用servlet容器處理請求;返回response控妻。為了便于后面的說明州袒，首先明確一下連接與請求的關(guān)系：連接是TCP層面的(傳輸層)，對應(yīng)socket;請求是HTTP層面的(應(yīng)用層)弓候，必須依賴于TCP的連接實現(xiàn);一個TCP連接中可能傳輸多個HTTP請求郎哭。

在BIO實現(xiàn)的Connector中，處理請求的主要實體是JIoEndpoint對象菇存。JIoEndpoint維護(hù)了Acceptor和Worker：Acceptor接收socket夸研，然后從Worker線程池中找出空閑的線程處理socket，如果worker線程池沒有空閑線程依鸥，則Acceptor將阻塞亥至。其中Worker是Tomcat自帶的線程池，如果通過配置了其他線程池贱迟，原理與Worker類似姐扮。

在NIO實現(xiàn)的Connector中，處理請求的主要實體是NIoEndpoint對象衣吠。NIoEndpoint中除了包含Acceptor和Worker外茶敏，還是用了Poller，處理流程如下圖所示(圖片來源：http://gearever.iteye.com/blog/1844203)缚俏。

Acceptor接收socket后惊搏，不是直接使用Worker中的線程處理請求贮乳，而是先將請求發(fā)送給了Poller，而Poller是實現(xiàn)NIO的關(guān)鍵胀屿。Acceptor向Poller發(fā)送請求通過隊列實現(xiàn)，使用了典型的生產(chǎn)者-消費(fèi)者模式包雀。在Poller中宿崭，維護(hù)了一個Selector對象;當(dāng)Poller從隊列中取出socket后，注冊到該Selector中;然后通過遍歷Selector才写，找出其中可讀的socket葡兑，并使用Worker中的線程處理相應(yīng)請求。與BIO類似赞草，Worker也可以被自定義的線程池代替讹堤。點(diǎn)擊查看 Tomcat Server 配置文件詳解。

通過上述過程可以看出厨疙，在NIoEndpoint處理請求的過程中洲守，無論是Acceptor接收socket，還是線程處理請求沾凄，使用的仍然是阻塞方式;但在“讀取socket并交給Worker中的線程”的這個過程中梗醇，使用非阻塞的NIO實現(xiàn)，這是NIO模式與BIO模式的最主要區(qū)別(其他區(qū)別對性能影響較小撒蟀，暫時略去不提)叙谨。而這個區(qū)別，在并發(fā)量較大的情形下可以帶來Tomcat效率的顯著提升：

目前大多數(shù)HTTP請求使用的是長連接(HTTP/1.1默認(rèn)keep-alive為true)保屯，而長連接意味著手负，一個TCP的socket在當(dāng)前請求結(jié)束后，如果沒有新的請求到來姑尺，socket不會立馬釋放竟终，而是等timeout后再釋放。如果使用BIO切蟋，“讀取socket并交給Worker中的線程”這個過程是阻塞的衡楞，也就意味著在socket等待下一個請求或等待釋放的過程中，處理這個socket的工作線程會一直被占用敦姻，無法釋放;因此Tomcat可以同時處理的socket數(shù)目不能超過最大線程數(shù)瘾境，性能受到了極大限制。而使用NIO镰惦，“讀取socket并交給Worker中的線程”這個過程是非阻塞的迷守，當(dāng)socket在等待下一個請求或等待釋放時，并不會占用工作線程旺入，因此Tomcat可以同時處理的socket數(shù)目遠(yuǎn)大于最大線程數(shù)兑凿，并發(fā)性能大大提高凯力。

二、3個參數(shù)：acceptCount礼华、maxConnections咐鹤、maxThreads

再回顧一下Tomcat處理請求的過程：在accept隊列中接收連接(當(dāng)客戶端向服務(wù)器發(fā)送請求時，如果客戶端與OS完成三次握手建立了連接圣絮，則OS將該連接放入accept隊列);在連接中獲取請求的數(shù)據(jù)祈惶，生成request;調(diào)用servlet容器處理請求;返回response。

相對應(yīng)的扮匠，Connector中的幾個參數(shù)功能如下：

1捧请、acceptCount

accept隊列的長度;當(dāng)accept隊列中連接的個數(shù)達(dá)到acceptCount時，隊列滿棒搜，進(jìn)來的請求一律被拒絕疹蛉。默認(rèn)值是100。

2力麸、maxConnections

Tomcat在任意時刻接收和處理的最大連接數(shù)可款。當(dāng)Tomcat接收的連接數(shù)達(dá)到maxConnections時，Acceptor線程不會讀取accept隊列中的連接;這時accept隊列中的線程會一直阻塞著克蚂，直到Tomcat接收的連接數(shù)小于maxConnections筑舅。如果設(shè)置為-1，則連接數(shù)不受限制陨舱。

默認(rèn)值與連接器使用的協(xié)議有關(guān)：NIO的默認(rèn)值是10000翠拣，APR/native的默認(rèn)值是8192，而BIO的默認(rèn)值為maxThreads(如果配置了Executor游盲，則默認(rèn)值是Executor的maxThreads)误墓。

在windows下，APR/native的maxConnections值會自動調(diào)整為設(shè)置值以下最大的1024的整數(shù)倍;如設(shè)置為2000益缎，則最大值實際是1024谜慌。

3、maxThreads

請求處理線程的最大數(shù)量莺奔。默認(rèn)值是200(Tomcat7和8都是的)欣范。如果該Connector綁定了Executor，這個值會被忽略令哟，因為該Connector將使用綁定的Executor恼琼，而不是內(nèi)置的線程池來執(zhí)行任務(wù)。

maxThreads規(guī)定的是最大的線程數(shù)目屏富，并不是實際running的CPU數(shù)量;實際上晴竞，maxThreads的大小比CPU核心數(shù)量要大得多。這是因為狠半，處理請求的線程真正用于計算的時間可能很少噩死，大多數(shù)時間可能在阻塞颤难，如等待數(shù)據(jù)庫返回數(shù)據(jù)、等待硬盤讀寫數(shù)據(jù)等已维。因此行嗤，在某一時刻，只有少數(shù)的線程真正的在使用物理CPU垛耳，大多數(shù)線程都在等待;因此線程數(shù)遠(yuǎn)大于物理核心數(shù)才是合理的栅屏。

換句話說，Tomcat通過使用比CPU核心數(shù)量多得多的線程數(shù)艾扮，可以使CPU忙碌起來既琴，大大提高CPU的利用率占婉。

4泡嘴、參數(shù)設(shè)置

(1)maxThreads的設(shè)置既與應(yīng)用的特點(diǎn)有關(guān)，也與服務(wù)器的CPU核心數(shù)量有關(guān)逆济。通過前面介紹可以知道酌予，maxThreads數(shù)量應(yīng)該遠(yuǎn)大于CPU核心數(shù)量;而且CPU核心數(shù)越大，maxThreads應(yīng)該越大;應(yīng)用中CPU越不密集(IO越密集)奖慌，maxThreads應(yīng)該越大抛虫，以便能夠充分利用CPU。當(dāng)然简僧，maxThreads的值并不是越大越好建椰，如果maxThreads過大，那么CPU會花費(fèi)大量的時間用于線程的切換岛马，整體效率會降低棉姐。

(2)maxConnections的設(shè)置與Tomcat的運(yùn)行模式有關(guān)。如果tomcat使用的是BIO啦逆，那么maxConnections的值應(yīng)該與maxThreads一致;如果tomcat使用的是NIO伞矩，那么類似于Tomcat的默認(rèn)值，maxConnections值應(yīng)該遠(yuǎn)大于maxThreads夏志。

(3)通過前面的介紹可以知道乃坤，雖然tomcat同時可以處理的連接數(shù)目是maxConnections，但服務(wù)器中可以同時接收的連接數(shù)為maxConnections+acceptCount 沟蔑。acceptCount的設(shè)置湿诊，與應(yīng)用在連接過高情況下希望做出什么反應(yīng)有關(guān)系。如果設(shè)置過大瘦材，后面進(jìn)入的請求等待時間會很長;如果設(shè)置過小枫吧，后面進(jìn)入的請求立馬返回connection refused。點(diǎn)擊查看 Tomcat Server 配置文件詳解宇色。

三九杂、線程池Executor

Executor元素代表Tomcat中的線程池颁湖，可以由其他組件共享使用;要使用該線程池，組件需要通過executor屬性指定該線程池例隆。

Executor是Service元素的內(nèi)嵌元素甥捺。一般來說，使用線程池的是Connector組件;為了使Connector能使用線程池镀层，Executor元素應(yīng)該放在Connector前面镰禾。Executor與Connector的配置舉例如下：

Executor的主要屬性包括：

name：該線程池的標(biāo)記

maxThreads：線程池中最大活躍線程數(shù)，默認(rèn)值200(Tomcat7和8都是)

minSpareThreads：線程池中保持的最小線程數(shù)唱逢，最小值是25

maxIdleTime：線程空閑的最大時間吴侦，當(dāng)空閑超過該值時關(guān)閉線程(除非線程數(shù)小于minSpareThreads)，單位是ms坞古，默認(rèn)值60000(1分鐘)

daemon：是否后臺線程备韧，默認(rèn)值true

threadPriority：線程優(yōu)先級，默認(rèn)值5

namePrefix：線程名字的前綴痪枫，線程池中線程名字為：namePrefix+線程編號

四织堂、查看當(dāng)前狀態(tài)

上面介紹了Tomcat連接數(shù)、線程數(shù)的概念以及如何設(shè)置奶陈，下面說明如何查看服務(wù)器中的連接數(shù)和線程數(shù)易阳。

查看服務(wù)器的狀態(tài)，大致分為兩種方案：(1)使用現(xiàn)成的工具吃粒，(2)直接使用Linux的命令查看潦俺。

現(xiàn)成的工具，如JDK自帶的jconsole工具可以方便的查看線程信息(此外還可以查看CPU徐勃、內(nèi)存事示、類、JVM基本信息等)疏旨，Tomcat自帶的manager很魂，收費(fèi)工具New Relic等。下圖是jconsole查看線程信息的界面：

下面說一下如何通過Linux命令行檐涝，查看服務(wù)器中的連接數(shù)和線程數(shù)遏匆。

1、連接數(shù)

假設(shè)Tomcat接收http請求的端口是8083谁榜，則可以使用如下語句查看連接情況：

netstat –nat | grep 8083

結(jié)果如下所示：

可以看出幅聘，有一個連接處于listen狀態(tài)，監(jiān)聽請求;除此之外窃植，還有4個已經(jīng)建立的連接(ESTABLISHED)和2個等待關(guān)閉的連接(CLOSE_WAIT)帝蒿。

2、線程

ps命令可以查看進(jìn)程狀態(tài)巷怜，如執(zhí)行如下命令：

ps –e | grep java

結(jié)果如下圖：

可以看到葛超，只打印了一個進(jìn)程的信息;27989是線程id暴氏，java是指執(zhí)行的java命令。這是因為啟動一個tomcat绣张，內(nèi)部所有的工作都在這一個進(jìn)程里完成答渔，包括主線程、垃圾回收線程侥涵、Acceptor線程沼撕、請求處理線程等等。

通過如下命令芜飘，可以看到該進(jìn)程內(nèi)有多少個線程;其中务豺，nlwp含義是number of light-weight process。

ps –o nlwp 27989

可以看到嗦明，該進(jìn)程內(nèi)部有73個線程;但是73并沒有排除處于idle狀態(tài)的線程笼沥。要想獲得真正在running的線程數(shù)量，可以通過以下語句完成：

ps -eLo pid ,stat | grep 27989 | grep running | wc -l

其中ps -eLo pid ,stat可以找出所有線程招狸，并打印其所在的進(jìn)程號和線程當(dāng)前的狀態(tài);兩個grep命令分別篩選進(jìn)程號和線程狀態(tài);wc統(tǒng)計個數(shù)敬拓。其中邻薯，ps -eLo pid ,stat | grep 27989輸出的結(jié)果如下：

圖中只截圖了部分結(jié)果;Sl表示大多數(shù)線程都處于空閑狀態(tài)裙戏。

歡迎工作一到五年的Java工程師朋友們加入Java架構(gòu)開發(fā)： 855835163

群內(nèi)提供免費(fèi)的Java架構(gòu)學(xué)習(xí)資料（里面有高可用、高并發(fā)厕诡、高性能及分布式累榜、Jvm性能調(diào)優(yōu)、Spring源碼灵嫌，MyBatis壹罚，Netty,Redis,Kafka,Mysql,Zookeeper,Tomcat,Docker,Dubbo,Nginx等多個知識點(diǎn)的架構(gòu)資料）合理利用自己每一分每一秒的時間來學(xué)習(xí)提升自己，不要再用"沒有時間“來掩飾自己思想上的懶惰寿羞！趁年輕猖凛，使勁拼，給未來的自己一個交代绪穆！