簡述
本文介紹HttpClient的連接管理次伶，主要介紹使用BasichttpClientConnectionManager和PoolingHttpClientConnectionManager來實(shí)現(xiàn)強(qiáng)制安全迅皇，協(xié)議兼容和有效使用HTTP連接纫骑。
用于單線程連接的BasicHttpClientConnectionManager
自HttpClient 4.3.3起，BasicHttpClientConnectionManager可用作HTTP連接管理器的最簡單實(shí)現(xiàn)幔崖。它用于創(chuàng)建和管理一次只能由一個(gè)線程使用的單個(gè)連接食店。
獲取低級別連接的連接請求（HttpClientConnection）
BasicHttpClientConnectionManager connManager
= new BasicHttpClientConnectionManager();
HttpRoute route = new HttpRoute(new HttpHost("http://localhost:8080", 80));
ConnectionRequest connRequest = connManager.requestConnection(route, null);
該requestConnection方法從connManager得到的連接池的特定路線來連接。該路線參數(shù)指定的“代理跳”到目標(biāo)主機(jī)或目標(biāo)主機(jī)本身的路由赏寇。
可以直接使用HttpClientConnection執(zhí)行請求吉嫩，但請記住，這種低級方法很冗長且難以管理嗅定。低級連接對于socket和http（如超時(shí)和目標(biāo)主機(jī)信息）很有用自娩，但對于標(biāo)準(zhǔn)執(zhí)行，HttpClient是一個(gè)更容易使用的API渠退。
使用PoolingHttpClientConnectionManager獲取和管理多線程連接池
該P(yáng)oolingHttpClientConnectionManager將創(chuàng)建并管理我們使用的每個(gè)路線或目標(biāo)主機(jī)的連接池忙迁。首先，讓我們看看如何在一個(gè)簡單的HttpClient上設(shè)置這個(gè)連接管理器：
在HttpClient上設(shè)置PoolingHttpClientConnectionManager
HttpClientConnectionManager poolingConnManager
= new PoolingHttpClientConnectionManager();
CloseableHttpClient client
= HttpClients.custom().setConnectionManager(poolingConnManager)
.build();
client.execute(new HttpGet("/"));
assertTrue(poolingConnManager.getTotalStats().getLeased() == 1);
接下來碎乃，讓我們看看兩個(gè)不同線程中運(yùn)行的兩個(gè)HttpClient如何使用相同的ConnectionManager：
使用兩個(gè)HttpClient連接到每個(gè)目標(biāo)主機(jī)
HttpGet get1 = new HttpGet("");
HttpGet get2 = new HttpGet("");
PoolingHttpClientConnectionManager connManager
= new PoolingHttpClientConnectionManager();
CloseableHttpClient client1
= HttpClients.custom().setConnectionManager(connManager).build();
CloseableHttpClient client2
= HttpClients.custom().setConnectionManager(connManager).build();
MultiHttpClientConnThread thread1
= new MultiHttpClientConnThread(client1, get1);
MultiHttpClientConnThread thread2
= new MultiHttpClientConnThread(client2, get2);
thread1.start();
thread2.start();
thread1.join();
thread2.join();
請注意姊扔，我們使用的是一個(gè)非常簡單的自定義線程實(shí)現(xiàn)，這里是：
自定義線程執(zhí)行 GET請求
public class MultiHttpClientConnThread extends Thread {
private CloseableHttpClient client;
private HttpGet get;
// standard constructors
public void run(){
try {
HttpResponse response = client.execute(get);
EntityUtils.consume(response.getEntity());
} catch (ClientProtocolException ex) {
} catch (IOException ex) {
}
}
}
請注意EntityUtils.consume（response.getEntity）調(diào)用梅誓，必須使用響應(yīng)的全部內(nèi)容（實(shí)體）恰梢，以便manager可以將連接釋放回池中。
配置ConnectionManager
ConnectionManager默認(rèn)配置選擇很好梗掰，但是嵌言，根據(jù)你的使用情況，會存在可能太小的情況及穗，那么摧茴，讓我們來看看我們?nèi)绾闻渲茫?/p>
- 連接總數(shù)
- 每條（任何）路由的最大連接數(shù)
- 每條特定路由的最大連接數(shù)
增加可以打開和管理的連接數(shù)超出默認(rèn)限制
PoolingHttpClientConnectionManager connManager
= new PoolingHttpClientConnectionManager();
connManager.setMaxTotal(5);
connManager.setDefaultMaxPerRoute(4);
HttpHost host = new HttpHost("www.baeldung.com", 80);
connManager.setMaxPerRoute(new HttpRoute(host), 5);
讓我們回顧一下API：
- setMaxTotal（int max）：設(shè)置最大總打開連接數(shù)。
- setDefaultMaxPerRoute（int max）：設(shè)置每條路由的最大并發(fā)連接數(shù)埂陆，默認(rèn)為2苛白。
- setMaxPerRoute（int max）：設(shè)置指向特定路由的并發(fā)連接總數(shù)，默認(rèn)為2焚虱。
因此丸氛，在不更改默認(rèn)值的情況下，我們將很容易地達(dá)到連接管理器的限制 著摔。讓我們看看它是如何看起來的：
使用線程執(zhí)行連接
HttpGet get = new HttpGet("http://localhost:8080");
PoolingHttpClientConnectionManager connManager
= new PoolingHttpClientConnectionManager();
CloseableHttpClient client = HttpClients.custom().
setConnectionManager(connManager).build();
MultiHttpClientConnThread thread1
= new MultiHttpClientConnThread(client, get);
MultiHttpClientConnThread thread2
= new MultiHttpClientConnThread(client, get);
MultiHttpClientConnThread thread3
= new MultiHttpClientConnThread(client, get);
thread1.start();
thread2.start();
thread3.start();
thread1.join();
thread2.join();
thread3.join();
正如我們已經(jīng)討論過的，默認(rèn)情況下每主機(jī)連接限制為2定续。因此谍咆，在此示例中禾锤，我們嘗試讓3個(gè)線程向同一主機(jī)發(fā)出3個(gè)請求，但只會并行分配2個(gè)連接摹察。
讓我們來看看日志 - 我們有三個(gè)線程正在運(yùn)行恩掷，但只有2個(gè)線程連接：
[Thread-0] INFO o.b.h.c.MultiHttpClientConnThread
- Before - Leased Connections = 0
[Thread-1] INFO o.b.h.c.MultiHttpClientConnThread
- Before - Leased Connections = 0
[Thread-2] INFO o.b.h.c.MultiHttpClientConnThread
- Before - Leased Connections = 0
[Thread-2] INFO o.b.h.c.MultiHttpClientConnThread
- After - Leased Connections = 2
[Thread-0] INFO o.b.h.c.MultiHttpClientConnThread
- After - Leased Connections = 2
長連接策略
引用HttpClient 4.3.3。reference：“ 如果Keep-Alive響應(yīng)中沒有標(biāo)頭供嚎，HttpClient假定連接可以無限期保持活動(dòng)黄娘。”克滴。
為了解決這個(gè)問題逼争，并且能夠管理死連接，我們需要一個(gè)自定義的策略實(shí)現(xiàn)并將其構(gòu)建到HttpClient中劝赔。
自定義保持長連接策略
ConnectionKeepAliveStrategy myStrategy = new ConnectionKeepAliveStrategy() {
@Override
public long getKeepAliveDuration(HttpResponse response, HttpContext context) {
HeaderElementIterator it = new BasicHeaderElementIterator
(response.headerIterator(HTTP.CONN_KEEP_ALIVE));
while (it.hasNext()) {
HeaderElement he = it.nextElement();
String param = he.getName();
String value = he.getValue();
if (value != null && param.equalsIgnoreCase
("timeout")) {
return Long.parseLong(value) * 1000;
}
}
return 5 * 1000;
}
};
此策略將首先嘗試應(yīng)用標(biāo)題中所述的主機(jī)的Keep-Alive策略誓焦。如果響應(yīng)頭中不存在該信息，則它將保持活動(dòng)連接5秒着帽。
現(xiàn)在杂伟，讓我們用這個(gè)自定義策略創(chuàng)建一個(gè)客戶端：
PoolingHttpClientConnectionManager connManager
= new PoolingHttpClientConnectionManager();
CloseableHttpClient client = HttpClients.custom()
.setKeepAliveStrategy(myStrategy)
.setConnectionManager(connManager)
.build();
連接持久性/重用
HTTP / 1.1規(guī)范規(guī)定，如果連接尚未關(guān)閉仍翰，則可以重新使用連接 - 這稱為連接持久性赫粥。
一旦管理員發(fā)布連接，它就會保持開放狀態(tài)以便重復(fù)使用予借。使用只能管理單個(gè)連接的BasicHttpClientConnectionManager時(shí)越平，必須先釋放連接，然后再將其重新租用：
BasicHttpClientConnectionManager 連接重用
BasicHttpClientConnectionManager basicConnManager =
new BasicHttpClientConnectionManager();
HttpClientContext context = HttpClientContext.create();
// low level
HttpRoute route = new HttpRoute(new HttpHost("", 80));
ConnectionRequest connRequest = basicConnManager.requestConnection(route, null);
HttpClientConnection conn = connRequest.get(10, TimeUnit.SECONDS);
basicConnManager.connect(conn, route, 1000, context);
basicConnManager.routeComplete(conn, route, context);
HttpRequestExecutor exeRequest = new HttpRequestExecutor();
context.setTargetHost((new HttpHost("", 80)));
HttpGet get = new HttpGet("");
exeRequest.execute(get, conn, context);
basicConnManager.releaseConnection(conn, null, 1, TimeUnit.SECONDS);
// high level
CloseableHttpClient client = HttpClients.custom()
.setConnectionManager(basicConnManager)
.build();
client.execute(get);
我們來看看會發(fā)生什么蕾羊。
首先 - 注意我們首先使用低級連接喧笔，這樣我們就可以完全控制連接何時(shí)釋放，然后是與HttpClient的正常更高級別連接龟再。復(fù)雜的低級邏輯在這里并不是很相關(guān) - 我們唯一關(guān)心的是releaseConnection調(diào)用书闸。這將釋放唯一可用的連接并允許重用。
然后利凑，客戶端再次成功執(zhí)行GET請求浆劲。如果我們跳過釋放連接，我們將從HttpClient獲取IllegalStateException：
java.lang.IllegalStateException: Connection is still allocated
at o.a.h.u.Asserts.check(Asserts.java:34)
at o.a.h.i.c.BasicHttpClientConnectionManager.getConnection
(BasicHttpClientConnectionManager.java:248)
請注意哀澈，現(xiàn)有連接未關(guān)閉牌借，只是釋放，然后由第二個(gè)請求重新使用割按。
與上面的示例相反膨报，PoolingHttpClientConnectionManager允許透明地連接重用，而無需隱式釋放連接：
PoolingHttpClientConnectionManager：重新使用與線程的連接
HttpGet get = new HttpGet("");
PoolingHttpClientConnectionManager connManager
= new PoolingHttpClientConnectionManager();
connManager.setDefaultMaxPerRoute(5);
connManager.setMaxTotal(5);
CloseableHttpClient client = HttpClients.custom()
.setConnectionManager(connManager)
.build();
MultiHttpClientConnThread[] threads
= new MultiHttpClientConnThread[10];
for(int i = 0; i < threads.length; i++){
threads[i] = new MultiHttpClientConnThread(client, get, connManager);
}
for (MultiHttpClientConnThread thread: threads) {
thread.start();
}
for (MultiHttpClientConnThread thread: threads) {
thread.join(1000);
}
上面的示例有10個(gè)線程，執(zhí)行10個(gè)請求但只共享5個(gè)連接现柠。
當(dāng)然院领，這個(gè)例子依賴于服務(wù)器的Keep-Alive超時(shí)。為確保連接在重新使用之前不會死亡够吩，建議使用Keep-Alive策略配置客戶端比然。
使用Connection Manager配置超時(shí)-Socket
配置連接管理器時(shí)唯一可以設(shè)置的超時(shí)是Socket：
將Socket超時(shí)設(shè)置為5秒
HttpRoute route = new HttpRoute(new HttpHost("http://localhost:8080", 80));
PoolingHttpClientConnectionManager connManager
= new PoolingHttpClientConnectionManager();
connManager.setSocketConfig(route.getTargetHost(),SocketConfig.custom().
setSoTimeout(5000).build());
連接監(jiān)控
連接斷開用于檢測空閑和過期連接并關(guān)閉它們 ; 有兩種選擇可以做到這一點(diǎn)。
在執(zhí)行請求之前依賴HttpClient來檢查連接是否異常周循。這是一個(gè)耗時(shí)的選擇强法，并不總是最優(yōu)的。
創(chuàng)建監(jiān)視器線程以關(guān)閉空閑和/或關(guān)閉的連接湾笛。
設(shè)置HttpClient以檢查過時(shí)連接
PoolingHttpClientConnectionManager connManager
= new PoolingHttpClientConnectionManager();
CloseableHttpClient client = HttpClients.custom().setDefaultRequestConfig(
RequestConfig.custom().setStaleConnectionCheckEnabled(true).build()
).setConnectionManager(connManager).build();
使用異常的連接監(jiān)視器線程
PoolingHttpClientConnectionManager connManager
= new PoolingHttpClientConnectionManager();
CloseableHttpClient client = HttpClients.custom()
.setConnectionManager(connManager).build();
IdleConnectionMonitorThread staleMonitor
= new IdleConnectionMonitorThread(connManager);
staleMonitor.start();
staleMonitor.join(1000);
該IdleConnectionMonitorThread 類列舉如下：
public class IdleConnectionMonitorThread extends Thread {
private final HttpClientConnectionManager connMgr;
private volatile boolean shutdown;
public IdleConnectionMonitorThread(
PoolingHttpClientConnectionManager connMgr) {
super();
this.connMgr = connMgr;
}
@Override
public void run() {
try {
while (!shutdown) {
synchronized (this) {
wait(1000);
connMgr.closeExpiredConnections();
connMgr.closeIdleConnections(30, TimeUnit.SECONDS);
}
}
} catch (InterruptedException ex) {
shutdown();
}
}
public void shutdown() {
shutdown = true;
synchronized (this) {
notifyAll();
}
}
}
連接關(guān)閉
可以正常關(guān)閉連接（嘗試在關(guān)閉之前刷新輸出緩沖區(qū)）饮怯，或通過調(diào)用shutdown方法（未刷新輸出緩沖區(qū)）強(qiáng)制關(guān)閉連接。
要正確關(guān)閉連接迄本，我們需要執(zhí)行以下所有操作：
- 消耗并關(guān)閉響應(yīng)（如果可以關(guān)閉）
- 關(guān)閉客戶端
- 關(guān)閉并關(guān)閉連接管理器
關(guān)閉連接和釋放資源
connManager = new PoolingHttpClientConnectionManager();
CloseableHttpClient client = HttpClients.custom()
.setConnectionManager(connManager).build();
HttpGet get = new HttpGet("");
CloseableHttpResponse response = client.execute(get);
EntityUtils.consume(response.getEntity());
response.close();
client.close();
connManager.close();
如果管理器在沒有連接關(guān)閉的情況下關(guān)閉硕淑，所有連接都將關(guān)閉并釋放所有資源。
重要的是要記住嘉赎，這不會刷新現(xiàn)有連接可能正在進(jìn)行的任何數(shù)據(jù)置媳。
結(jié)論
在本文中，我們討論了如何使用HttpClient的HTTP ConnectionManager API來處理管理連接的整個(gè)過程公条，從打開和分配連接拇囊，管理多個(gè)代理的并發(fā)使用，到最終關(guān)閉它們靶橱。
我們看到BasicHttpClientConnectionManager是一個(gè)處理單個(gè)連接的簡單解決方案寥袭，以及它如何管理低級連接。我們還了解了PoolingHttpClientConnectionManager如何與HttpClient API 結(jié)合使用关霸，以提供HTTP連接的高效且協(xié)議兼容的使用传黄。
