1.背景
? ? 最近一個(gè)項(xiàng)目中母赵，出現(xiàn)了java.net.ConnectException:Cannotassignrequestedaddress的異常掌逛。通過(guò)查找資料镀虐、分析后菌赖，認(rèn)為是由于程序?qū)ν饨⑿逻B接盲厌，結(jié)果本地端口已經(jīng)用完導(dǎo)致的異常显拳。
?2.問(wèn)題原因
? ? 為什么會(huì)出現(xiàn)這種情況呢失息？就要從linux的TCP/IP協(xié)議棧說(shuō)起了树枫。 先看一下TCP/IP的狀態(tài)圖:
主動(dòng)關(guān)閉連接的一方，連接會(huì)處在TIME-WAIT的狀態(tài)下徘溢，需要等2MSL時(shí)間后吞琐，系統(tǒng)才會(huì)回收這條連接捆探，端口才可以繼續(xù)被使用。
? ? 我們的項(xiàng)目場(chǎng)景是需要發(fā)送大量的短連接站粟。這樣在高并發(fā)的場(chǎng)景下黍图，就會(huì)出現(xiàn)端口不足，從而拋出java.net.ConnectException:Cannotassignrequestedaddress的異常奴烙。
3.解決方案
3.1 橫向擴(kuò)展
? 簡(jiǎn)單就是加機(jī)器助被，減少單臺(tái)服務(wù)器的TCP創(chuàng)建次數(shù)。
? 不過(guò)這樣需要注意幾個(gè)地方：
? ? 第一切诀，項(xiàng)目是否可以支持橫向擴(kuò)展揩环，我們的項(xiàng)目是基于kafka的consumer，很難簡(jiǎn)單通過(guò)加機(jī)器做到橫向擴(kuò)展幅虑。
? ? 第二丰滑，需要明確單臺(tái)服務(wù)器的處理瓶頸，如果隨著業(yè)務(wù)量的不斷增加倒庵，還是會(huì)出現(xiàn)這種異常褒墨。需要對(duì)應(yīng)業(yè)務(wù)量的增加，不斷動(dòng)態(tài)調(diào)整服務(wù)器數(shù)量擎宝。
3.2 調(diào)整linux內(nèi)核參數(shù)
? ? linux內(nèi)核中存在兩個(gè)參數(shù)：
? ? ? net.ipv4.tcp_tw_reuse = 1表示開啟重用郁妈。允許將TIME-WAIT sockets重新用于新的TCP連接，默認(rèn)為0绍申，表示關(guān)閉噩咪；
? ? ? net.ipv4.tcp_tw_recycle = 1表示開啟TCP連接中TIME-WAIT sockets的快速回收，默認(rèn)為0极阅，表示關(guān)閉剧腻。
? ? 在/etc/sysctl.conf文件中加入上述參數(shù)，然后執(zhí)行/sbin/sysctl -p讓參數(shù)生效涂屁。
? ? 但是由于我們項(xiàng)目在docker中運(yùn)行，并且很難單純通過(guò)增加機(jī)器進(jìn)行橫向擴(kuò)展灰伟。當(dāng)時(shí)從網(wǎng)上找到了docker調(diào)整網(wǎng)絡(luò)內(nèi)核參數(shù)的方式拆又，但是經(jīng)過(guò)試驗(yàn)，沒(méi)有效果栏账。
3.3 針對(duì)該異常進(jìn)行單獨(dú)處理
? ? 如果在對(duì)實(shí)時(shí)性要求不是特別高的場(chǎng)景下帖族，可以采用如果出現(xiàn)這種異常，就暫停發(fā)送程序挡爵，類似一種限流保護(hù)的機(jī)制竖般，等到可以發(fā)送之后，再進(jìn)行發(fā)送茶鹃。?
? ? 這樣處理涣雕，需要能夠明確項(xiàng)目本身或者項(xiàng)目的使用方能夠做緩沖艰亮。（我們項(xiàng)目的從kafka拉去消息，暫停發(fā)送后挣郭，將消息都緩存到了kafka中迄埃，是不存在風(fēng)險(xiǎn)的）。
3.4 修改TCP短連接為長(zhǎng)連接
? ? 出現(xiàn)這種問(wèn)題兑障，歸根到底還是因?yàn)樾枰l繁創(chuàng)建大量的連接侄非。那么，可不可以修改一種方式避免流译，避免頻繁創(chuàng)建大量的TCP短連接逞怨。這需要根據(jù)項(xiàng)目的具體原因進(jìn)行評(píng)估。
4.總結(jié)
? ? 雖然是java程序員福澡，還是需要了解操作系統(tǒng)的底層細(xì)節(jié)叠赦。這樣，出現(xiàn)問(wèn)題可以從多個(gè)角度竞漾、多個(gè)層次去分析解決眯搭。
5.引用
5.1?TCP狀態(tài)變遷圖及狀態(tài)說(shuō)明
5.2?發(fā)現(xiàn)大量的TIME_WAIT解決辦法
5.3?對(duì)docker container進(jìn)行內(nèi)核參數(shù)調(diào)優(yōu)
