本文轉自：https://github.com/jasonGeng88/blog
本系列文章將整理到我在GitHub上的《Java面試指南》倉庫谚殊，更多精彩內容請到我的倉庫里查看
喜歡的話麻煩點下Star哈
文章將同步到我的個人博客：
本文是微信公眾號【Java技術江湖】的《不可輕視的Java網(wǎng)絡編程》其中一篇，本文部分內容來源于網(wǎng)絡发侵，為了把本文主題講得清晰透徹巧娱，也整合了很多我認為不錯的技術博客內容语泽，引用其中了一些比較好的博客文章瞬测，如有侵權凤粗，請聯(lián)系作者。
該系列博文會告訴你如何從計算機網(wǎng)絡的基礎知識入手惕澎，一步步地學習Java網(wǎng)絡基礎莉测，從socket到nio、bio唧喉、aio和netty等網(wǎng)絡編程知識捣卤，并且進行實戰(zhàn)，網(wǎng)絡編程是每一個Java后端工程師必須要學習和理解的知識點八孝，進一步來說董朝，你還需要掌握Linux中的網(wǎng)絡編程原理，包括IO模型干跛、網(wǎng)絡編程框架netty的進階原理子姜，才能更完整地了解整個Java網(wǎng)絡編程的知識體系，形成自己的知識框架楼入。
為了更好地總結和檢驗你的學習成果哥捕，本系列文章也會提供部分知識點對應的面試題以及參考答案。
如果對本系列文章有什么建議浅辙，或者是有什么疑問的話扭弧，也可以關注公眾號【Java技術江湖】聯(lián)系作者，歡迎你參與本系列博文的創(chuàng)作和修訂记舆。
當前環(huán)境
- jdk == 1.8
知識點
- socket 的連接處理
- IO 輸入鸽捻、輸出流的處理
- 請求數(shù)據(jù)格式處理
- 請求模型優(yōu)化
場景
今天，和大家聊一下 JAVA 中的 socket 通信問題泽腮。這里采用最簡單的一請求一響應模型為例御蒲，假設我們現(xiàn)在需要向 baidu 站點進行通信。我們用 JAVA 原生的 socket 該如何實現(xiàn)诊赊。
建立 socket 連接
首先厚满，我們需要建立 socket 連接（核心代碼）
<pre>import java.net.InetSocketAddress;
import java.net.Socket;
import java.net.SocketAddress;
// 初始化 socket
Socket socket = new Socket();
// 初始化遠程連接地址
SocketAddress remote = new InetSocketAddress(host, port);
// 建立連接
socket.connect(remote);
</pre>
處理 socket 輸入輸出流
成功建立 socket 連接后，我們就能獲得它的輸入輸出流碧磅，通信的本質是對輸入輸出流的處理碘箍。通過輸入流遵馆，讀取網(wǎng)絡連接上傳來的數(shù)據(jù)，通過輸出流丰榴，將本地的數(shù)據(jù)傳出給遠端货邓。
socket 連接實際與處理文件流有點類似，都是在進行 IO 操作四濒。
獲取輸入换况、輸出流代碼如下：
<pre>// 輸入流
InputStream in = socket.getInputStream();
// 輸出流
OutputStream out = socket.getOutputStream();</pre>
關于 IO 流的處理，我們一般會用相應的包裝類來處理 IO 流盗蟆，如果直接處理的話戈二，我們需要對 byte[] 進行操作，而這是相對比較繁瑣的喳资。如果采用包裝類觉吭，我們可以直接以string、int等類型進行處理骨饿，簡化了 IO 字節(jié)操作亏栈。
下面以 BufferedReader 與 PrintWriter 作為輸入輸出的包裝類進行處理。
<pre>// 獲取 socket 輸入流
private BufferedReader getReader(Socket socket) throws IOException {
InputStream in = socket.getInputStream();
return new BufferedReader(new InputStreamReader(in));
}
// 獲取 socket 輸出流
private PrintWriter getWriter(Socket socket) throws IOException {
OutputStream out = socket.getOutputStream();
return new PrintWriter(new OutputStreamWriter(out));
}
</pre>
數(shù)據(jù)請求與響應
有了 socket 連接宏赘、IO 輸入輸出流绒北，下面就該向發(fā)送請求數(shù)據(jù)，以及獲取請求的響應結果察署。
因為有了 IO 包裝類的支持闷游，我們可以直接以字符串的格式進行傳輸，由包裝類幫我們將數(shù)據(jù)裝換成相應的字節(jié)流贴汪。
因為我們與 baidu 站點進行的是 HTTP 訪問脐往，所有我們不需要額外定義輸出格式。采用標準的 HTTP 傳輸格式扳埂，就能進行請求響應了（某些特定的 RPC 框架业簿，可能會有自定義的通信格式）。
請求的數(shù)據(jù)內容處理如下：
<pre>public class HttpUtil {
public static String compositeRequest(String host){
return "GET / HTTP/1.1\r\n" +
"Host: " + host + "\r\n" +
"User-Agent: curl/7.43.0\r\n" +
"Accept: */*\r\n\r\n";
}
}</pre>
發(fā)送請求數(shù)據(jù)代碼如下：
<pre>// 發(fā)起請求
PrintWriter writer = getWriter(socket);
writer.write(HttpUtil.compositeRequest(host));
writer.flush();</pre>
接收響應數(shù)據(jù)代碼如下：
<pre>// 讀取響應
String msg;
BufferedReader reader = getReader(socket);
while ((msg = reader.readLine()) != null){
System.out.println(msg);
}</pre>
結果展示
至此阳懂，講完了原生 socket 下的創(chuàng)建連接梅尤、發(fā)送請求與接收響應的所有核心代碼。
完整代碼如下：
import java.io.*;import java.net.InetSocketAddress;import java.net.Socket;import java.net.SocketAddress;import com.test.network.util.HttpUtil; public class SocketHttpClient { public void start(String host, int port) { // 初始化 socket Socket socket = new Socket(); try { // 設置 socket 連接 SocketAddress remote = new InetSocketAddress(host, port); socket.setSoTimeout(5000); socket.connect(remote); // 發(fā)起請求 PrintWriter writer = getWriter(socket); System.out.println(HttpUtil.compositeRequest(host)); writer.write(HttpUtil.compositeRequest(host)); writer.flush(); // 讀取響應 String msg; BufferedReader reader = getReader(socket); while ((msg = reader.readLine()) != null){ System.out.println(msg); } } catch (IOException e) { e.printStackTrace(); } finally { try { socket.close(); } catch (IOException e) { e.printStackTrace(); } } } private BufferedReader getReader(Socket socket) throws IOException { InputStream in = socket.getInputStream(); return new BufferedReader(new InputStreamReader(in)); } private PrintWriter getWriter(Socket socket) throws IOException { OutputStream out = socket.getOutputStream(); return new PrintWriter(new OutputStreamWriter(out)); } }
下面岩调，我們通過實例化一個客戶端巷燥，來展示 socket 通信的結果。
<pre>public class Application {
public static void main(String[] args) {
new SocketHttpClient().start("www.baidu.com", 80);
}
}</pre>
結果輸出：
請求模型優(yōu)化
這種方式号枕，雖然實現(xiàn)功能沒什么問題缰揪。但是我們細看，發(fā)現(xiàn)在 IO 寫入與讀取過程葱淳，是發(fā)生了 IO 阻塞的情況钝腺。即：
// 會發(fā)生 IO 阻塞writer.write(HttpUtil.compositeRequest(host));reader.readLine();
所以如果要同時請求10個不同的站點抛姑，如下：
<pre>public class SingleThreadApplication {
public static void main(String[] args) {
// HttpConstant.HOSTS 為 站點集合
for (String host: HttpConstant.HOSTS) {
new SocketHttpClient().start(host, HttpConstant.PORT);
}
}
}</pre>
它一定是第一個請求響應結束后，才會發(fā)起下一個站點處理拍屑。
這在服務端更明顯途戒，雖然這里的代碼是客戶端連接，但是具體的操作和服務端是差不多的僵驰。請求只能一個個串行處理，這在響應時間上肯定不能達標唁毒。
- 多線程處理
有人覺得這根本不是問題蒜茴，JAVA 是多線程的編程語言。對于這種情況浆西，采用多線程的模型再合適不過粉私。
public class MultiThreadApplication { public static void main(String[] args) { for (final String host: HttpConstant.HOSTS) { Thread t = new Thread(new Runnable() { public void run() { new SocketHttpClient().start(host, HttpConstant.PORT); } }); t.start(); } }}
這種方式起初看起來挺有用的，但并發(fā)量一大近零，應用會起很多的線程诺核。都知道，在服務器上久信，每一個線程實際都會占據(jù)一個文件句柄窖杀。而服務器上的句柄數(shù)是有限的，而且大量的線程裙士，造成的線程間切換的消耗也會相當?shù)拇笕肟汀Ｋ赃@種方式在并發(fā)量大的場景下，一定是承載不住的腿椎。
- 多線程 + 線程池 處理
既然線程太多不行桌硫，那我們控制一下線程創(chuàng)建的數(shù)目不就行了。只啟動固定的線程數(shù)來進行 socket 處理啃炸，既利用了多線程的處理铆隘，又控制了系統(tǒng)的資源消耗。
<pre>public class ThreadPoolApplication {
public static void main(String[] args) {
ExecutorService executorService = Executors.newFixedThreadPool(8);
for (final String host: HttpConstant.HOSTS) {
Thread t = new Thread(new Runnable() {
public void run() {
new SocketHttpClient().start(host, HttpConstant.PORT);
}
});
executorService.submit(t);
new SocketHttpClient().start(host, HttpConstant.PORT);
}
}
}</pre>
關于啟動的線程數(shù)南用，一般 CPU 密集型會設置在 N+1（N為CPU核數(shù)）膀钠，IO 密集型設置在 2N + 1。
這種方式训枢，看起來是最優(yōu)的了托修。那有沒有更好的呢，如果一個線程能同時處理多個 socket 連接恒界，并且在每個 socket 輸入輸出數(shù)據(jù)沒有準備好的情況下睦刃，不進行阻塞，那是不是更優(yōu)呢十酣。這種技術叫做“IO多路復用”涩拙。在 JAVA 的 nio 包中际长，提供了相應的實現(xiàn)。
補充1：TCP客戶端與服務端
<pre>public class TCP客戶端 {
public static void main(String[] args) {
new Thread(new Runnable() {
@Override
public void run() {
try {
Socket s = new Socket("127.0.0.1",1234); //構建IO
InputStream is = s.getInputStream();
OutputStream os = s.getOutputStream(); BufferedWriter bw = new BufferedWriter(new OutputStreamWriter(os));
//向服務器端發(fā)送一條消息
bw.write("測試客戶端和服務器通信兴泥，服務器接收到消息返回到客戶端\n");
bw.flush(); //讀取服務器返回的消息
BufferedReader br = new BufferedReader(new InputStreamReader(is));
String mess = br.readLine();
System.out.println("服務器："+mess);
} catch (UnknownHostException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
}
}).start();
}
}</pre>
<pre>public class TCP服務端 {
public static void main(String[] args) {
new Thread(new Runnable() {
@Override
public void run() {
try {
ServerSocket ss = new ServerSocket(1234);
while (true) {
System.out.println("啟動服務器....");
Socket s = ss.accept();
System.out.println("客戶端:" + s.getInetAddress().getLocalHost() + "已連接到服務器");
BufferedReader br = new BufferedReader(new InputStreamReader(s.getInputStream()));
//讀取客戶端發(fā)送來的消息
String mess = br.readLine();
System.out.println("客戶端：" + mess);
BufferedWriter bw = new BufferedWriter(new OutputStreamWriter(s.getOutputStream()));
bw.write(mess + "\n");
bw.flush();
}
} catch (IOException e) {
e.printStackTrace();
}
}
}).start();
}
}</pre>
補充2：UDP客戶端和服務端
<pre>public class UDP客戶端 {
public static void main(String[] args) {
new Thread(new Runnable() {
@Override
public void run() {
byte []arr = "Hello Server".getBytes();
try {
InetAddress inetAddress = InetAddress.getLocalHost();
DatagramSocket datagramSocket = new DatagramSocket();
DatagramPacket datagramPacket = new DatagramPacket(arr, arr.length, inetAddress, 1234);
datagramSocket.send(datagramPacket);
System.out.println("send end");
} catch (UnknownHostException e) {
e.printStackTrace();
} catch (SocketException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
}
}).start();
}
}</pre>
<pre>public class UDP服務端 {
public static void main(String[] args) {
new Thread(new Runnable() {
@Override
public void run() {
try {
DatagramSocket datagramSocket = new DatagramSocket(1234);
byte[] buffer = new byte[1024];
DatagramPacket packet = new DatagramPacket(buffer, buffer.length);
datagramSocket.receive(packet);
System.out.println("server recv");
String msg = new String(packet.getData(), "utf-8");
System.out.println(msg);
} catch (SocketException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
}
}).start();
}
}
</pre>
后續(xù)
- JAVA 中是如何實現(xiàn) IO多路復用
- Netty 下的實現(xiàn)異步請求的
