應(yīng)用層協(xié)議

應(yīng)用層協(xié)議（application layer protocol）定義了運(yùn)行在不同端系統(tǒng)上的應(yīng)用程序進(jìn)程如何相互傳遞報(bào)文石景。接下來我們就來學(xué)習(xí)應(yīng)用層上的一些協(xié)議淋纲。
在傳輸層之上菇夸，便是應(yīng)用層悼院。傳輸層的 UDP 報(bào)文和 TCP 報(bào)文段的數(shù)據(jù)部分就是應(yīng)用層交付的數(shù)據(jù)淮逊。
不同類型的網(wǎng)絡(luò)應(yīng)用有不同的通信規(guī)則，因此應(yīng)用層協(xié)議是多種多樣的本鸣，比如 DNS疫衩、FTP、Telnet荣德、SMTP、HTTP童芹、RIP涮瞻、NFS 等協(xié)議都是用于解決其各自的一類問題。

DNS 協(xié)議

DNS（Domain Name Service 域名服務(wù)）協(xié)議基于 UDP假褪，使用端口號(hào) 53署咽。
由數(shù)字組成的 IP 地址很難記憶，所以我們上網(wǎng)使用網(wǎng)站 IP 地址的別名——域名生音。實(shí)際使用中宁否，域名與 IP 地址是對(duì)應(yīng)的，這種對(duì)應(yīng)關(guān)系保存在DNS 服務(wù)器之中缀遍。
在瀏覽器中輸入一個(gè)域名后慕匠，會(huì)有 DNS 服務(wù)器將域名解析為對(duì)應(yīng)的 IP 地址。注意這和網(wǎng)絡(luò)層的 ARP 協(xié)議的不同之處：DNS 提供的是域名與 IP 地址的對(duì)應(yīng)關(guān)系域醇，而 ARP 提供的是 IP 地址和 MAC 地址的對(duì)應(yīng)關(guān)系台谊。
DNS 服務(wù)器
DNS 服務(wù)器是個(gè)分層次的系統(tǒng)：
根 DNS 服務(wù)器 ：全世界共有 13 臺(tái)根域名服務(wù)器，編號(hào) A 到 M譬挚，其中大部分位于美國(guó)锅铅。
頂級(jí)(TLD)DNS 服務(wù)器 ：負(fù)責(zé)如 com、org减宣、edu 等頂級(jí)域名和所有國(guó)家的頂級(jí)域名（如 cn 盐须、uk 、jp）漆腌。
權(quán)威 DNS 服務(wù)器 ：大型組織贼邓、大學(xué)姨蟋、企業(yè)的域名解析服務(wù)。
本地 DNS 服務(wù)器 ：通常與我們主機(jī)最近的 DNS 服務(wù)器立帖。

而域名解析的過程眼溶，有迭代查詢和遞歸查詢兩種方式：

image.png

host mirrors.aliyuncs.com

下圖示例查詢 www.shiyanlou.com 的操作，由于實(shí)驗(yàn)樓網(wǎng)絡(luò)限制（非會(huì)員用戶）绑咱，只有 mirrors.aliyuncs.com 域名可以查詢绰筛。

image.png

# 查詢 www.lanqiao.cn 的 ip 地址，+noedns 是不顯示 edns 信息
dig www.lanqiao.cn +noedns

輸出信息解析：

# 這一部分為應(yīng)答的統(tǒng)計(jì)信息
# - QUERY：查詢?nèi)蝿?wù)個(gè)數(shù)拇泣，這里為 1 個(gè)
# - ANSWER：查詢到幾條 A 記錄（IP 地址）噪叙，這里為 1 條
# - AUTHORITY：幾個(gè)權(quán)威域名服務(wù)器，這里為 0 個(gè)
# - ADDITIONAL：幾個(gè)附加信息霉翔，這里為 0 個(gè)
; <<>> DiG 9.9.5-3ubuntu0.8-Ubuntu <<>> www.lanqiao.cn +noedns
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 28554
;; flags: qr rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 0


# 這一部分為問題片段睁蕾，意思是查詢 www.lanqiao.cn 的 A 記錄
;; QUESTION SECTION:
;www.shiyanlou.com.        IN    A

# 這一部分為應(yīng)答片段，意為查詢到的 IP 為 115.29.233.149
;; ANSWER SECTION:
www.shiyanlou.com.    43200    IN    A    115.29.233.149

# 這一部分為查詢的任務(wù)統(tǒng)計(jì)信息，比如查詢花了多少時(shí)間子眶，執(zhí)行查詢的時(shí)間等
;; Query time: 8 msec
;; SERVER: 100.100.2.138#53(100.100.2.138)
;; WHEN: Sun Feb 03 17:37:46 CST 2019
;; MSG SIZE  rcvd: 51

我們下面用 tcpdump 來捕獲 DNS瀑凝。首先執(zhí)行命令：

sudo tcpdump -nt udp port 53

53 端口是 DNS 服務(wù)器所開放的端口

這個(gè)時(shí)候并沒有什么捕獲信息，因?yàn)槲覀冞€沒有開始 DNS 查詢臭杰≡吝洌可以使用 host 命令進(jìn)行域名查詢，我們新開一個(gè)終端標(biāo)簽執(zhí)行：

$ host www.shiyanlou.com

回到之前的標(biāo)簽渴杆，可以看到 tcpdump 命令的輸出：

image.png

sudo tcpdump -nn -vvv -X udp port 53

注意：要新開一個(gè)終端使用 host www.shiyanlou.com 查詢域名 IP 后才可見輸出同廉。

image.png

FTP 協(xié)議

FTP（File Transfer Protocol 文件傳輸協(xié)議）基于 TCP，使用端口號(hào) 20（數(shù)據(jù)）和 21（控制）很洋。

它的主要功能是減少或消除在不同操作系統(tǒng)下處理文件的不兼容性充蓝，以達(dá)到便捷高效的文件傳輸效果。
FTP 只提供文件傳輸?shù)幕痉?wù)，它采用 客戶端—服務(wù)器 的方式谓苟，一個(gè) FTP 服務(wù)器可同時(shí)為多個(gè)客戶端提供服務(wù)官脓。
在進(jìn)行文件傳輸時(shí)，F(xiàn)TP 的客戶端和服務(wù)器之間會(huì)建立兩個(gè) TCP 連接：21 號(hào)端口建立控制連接涝焙，20 號(hào)端口建立數(shù)據(jù)連接卑笨。
FTP 的傳輸有兩種方式：ASCII 傳輸模式和二進(jìn)制數(shù)據(jù)傳輸模式。

我們直接下載一個(gè) FTP 報(bào)文信息示例包 ftp.pcap仑撞，然后用 tcpdump 解析赤兴。

# 下載 ftp.pcap 文件
wget https://labfile.oss.aliyuncs.com/courses/98/ftp.pcap

# 用 tcpdump 命令解析
sudo tcpdump -r ftp.pcap

image.png

前面三幀是客戶端與服務(wù)器的三次握手，連接服務(wù)端的 ftp 端口（21）派草，客戶端 ip 是 192.168.0.114搀缠，服務(wù)端 ip 是 192.168.0.193：

01:24:40.499548 IP 192.168.0.114.1137 > 192.168.0.193.ftp: Flags [S], seq 3753095934, win 16384, options [mss 1460,nop,nop,sackOK], length 0
01:24:40.501867 IP 192.168.0.193.ftp > 192.168.0.114.1137: Flags [S.], seq 3334930753, ack 3753095935, win 16384, options [mss 1452,nop,nop,sackOK], length 0
01:24:40.501886 IP 192.168.0.114.1137 > 192.168.0.193.ftp: Flags [.], ack 1, win 17424, length 0

第四幀是服務(wù)器向客戶端發(fā)送相關(guān)信息：

01:24:40.503947 IP 192.168.0.193.ftp > 192.168.0.114.1137: Flags [P.], seq 1:31, ack 1, win 65535, length 30

此時(shí)控制連接建立完成。再下面的部分就是客戶端向服務(wù)器端發(fā)送請(qǐng)求近迁，然后服務(wù)器端響應(yīng)客戶端的過程艺普，比如登錄，輸出所在路徑等操作鉴竭。
在后面的輸出中歧譬，還能找到客戶端與服務(wù)器端建立數(shù)據(jù)連接時(shí)三次握手的過程。
我們這里看到服務(wù)器端開放端口號(hào)不是 20 是因?yàn)?FTP 的工作模式是被動(dòng)模式（PASV）搏存，被動(dòng)模式中瑰步，服務(wù)端會(huì)創(chuàng)建一個(gè)新的隨機(jī)的非特權(quán)端口 P（P> = 1023）與客戶端建立數(shù)據(jù)通道連接。

HTTP 協(xié)議

HTTP (HyperText Transfer Protocol 超文本傳輸協(xié)議) 基于 TCP璧眠，使用端口號(hào) 80 或 8080缩焦。
每當(dāng)你在瀏覽器里輸入一個(gè)網(wǎng)址或點(diǎn)擊一個(gè)鏈接時(shí)，瀏覽器就通過 HTTP 協(xié)議將網(wǎng)頁信息從服務(wù)器提取再顯示出來责静，這是現(xiàn)在使用頻率最大的應(yīng)用層協(xié)議袁滥。

這個(gè)原理很簡(jiǎn)單：
點(diǎn)擊一個(gè)鏈接后，瀏覽器向服務(wù)器發(fā)起 TCP 連接；
連接建立后瀏覽器發(fā)送 HTTP 請(qǐng)求報(bào)文，然后服務(wù)器回復(fù)響應(yīng)報(bào)文褐鸥；
瀏覽器將收到的響應(yīng)報(bào)文內(nèi)容顯示在網(wǎng)頁上；
報(bào)文收發(fā)結(jié)束嵌赠，關(guān)閉 TCP 連接。

HTTP 報(bào)文會(huì)被傳輸層封裝為 TCP 報(bào)文段熄赡，然后再被 IP 層封裝為 IP 數(shù)據(jù)報(bào)姜挺。
HTTP 請(qǐng)求報(bào)文結(jié)構(gòu)：

image.png

HTTP 響應(yīng)報(bào)文結(jié)構(gòu)：

image.png

實(shí)體主體：請(qǐng)求報(bào)文中通常不用實(shí)體主體掖肋。

請(qǐng)求報(bào)文的方法字段是對(duì)所請(qǐng)求對(duì)象進(jìn)行的操作仆葡，而響應(yīng)報(bào)文的狀態(tài)碼是一個(gè) 3 位數(shù)字，分為 5 類 33 種：
1xx：通知信息志笼，如收到或正在處理沿盅。
2xx：成功接收。
3xx：重定向纫溃。
4xx：客戶的差錯(cuò)腰涧，如 404 表示網(wǎng)頁未找到。
5xx：服務(wù)器的差錯(cuò)紊浩，如常見的 502 Bad Gateway窖铡。

我們可以通過瀏覽器的開發(fā)者工具來查看狀態(tài)碼，首先使用瀏覽器訪問 www.lanqiao.cn 坊谁，然后通過如下圖所示打開瀏覽器控制臺(tái)费彼，然后刷新頁面，在網(wǎng)絡(luò)標(biāo)簽里我們可以看到對(duì)應(yīng)資源的獲取狀態(tài)碼口芍。

image.png

image.png

Telnet 協(xié)議

Telnet 簡(jiǎn)介
Telnet 協(xié)議是 TCP/IP 協(xié)議族中的一員，是 Internet 遠(yuǎn)程登錄服務(wù)的標(biāo)準(zhǔn)協(xié)議和主要方式振峻，它基于 TCP 協(xié)議臼疫，使用端口 23。
終端使用者在本地電腦上使用 telnet 程序扣孟，用它連接到服務(wù)器烫堤，終端使用者可以在 telnet 程序中輸入命令，這些命令會(huì)在服務(wù)器上運(yùn)行，就像直接在服務(wù)器的控制臺(tái)上輸入一樣鸽斟。
Telnet 工作過程
使用 Telnet 協(xié)議進(jìn)行遠(yuǎn)程登錄時(shí)必須滿足以下條件:
在本地計(jì)算機(jī)上必須裝有包含 Telnet 協(xié)議的客戶程序拔创；
必須知道遠(yuǎn)程主機(jī)的 IP 地址或域名；
必須知道登錄標(biāo)識(shí)與口令富蓄。

Telnet 遠(yuǎn)程登錄服務(wù)分為以下 4 個(gè)過程:
本地與遠(yuǎn)程主機(jī)建立連接剩燥。該過程實(shí)際上是建立一個(gè) TCP 連接，用戶必須知道遠(yuǎn)程主機(jī)的 IP 地址或域名立倍；
將本地終端上輸入的用戶名和口令及以后輸入的任何命令或字符以 NVT ( Net Virtual Terminal ) 格式傳送到遠(yuǎn)程主機(jī)灭红。該過程實(shí)際上是從本地主機(jī)向遠(yuǎn)程主機(jī)發(fā)送一個(gè) IP 數(shù)據(jù)包；
將遠(yuǎn)程主機(jī)輸出的 NVT 格式的數(shù)據(jù)轉(zhuǎn)化為本地所接受的格式送回本地終端口注，包括輸入命令回顯和命令執(zhí)行結(jié)果变擒；
最后，本地終端對(duì)遠(yuǎn)程主機(jī)進(jìn)行撤消連接寝志。該過程是撤銷一個(gè) TCP 連接娇斑。
Telnet 連接遠(yuǎn)程主機(jī)
telnet 使用語法：telnet IP 端口（可選）。

shiyanlou:~/ $ telnet 127.0.0.1 22
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
SSH-2.0-OpenSSH_6.6.1p1 Ubuntu-2ubuntu2.8

Telnet 測(cè)試主機(jī)端口
telnet 可以測(cè)試目標(biāo)機(jī)器的 TCP 端口是否開放澈段。

例如 telnet IP地址 3389 是用來測(cè)試目標(biāo)機(jī)器的 3389 端口是否開放悠菜，如果連接失敗，可能是以下原因：
防火墻屏蔽
目標(biāo)機(jī)器沒有啟用相關(guān)遠(yuǎn)程桌面服務(wù)（windows）
修改了默認(rèn)占用 3389 端口败富。

下圖示例使用 telnet 127.0.0.1 端口 測(cè)試本地環(huán)境端口開放性：

image.png

說明本地環(huán)境 3389 端口未開放 悔醋，22 端口開放。
下圖示例使用 netstat -pantu 驗(yàn)證以上結(jié)果（LISTEN 說明為開放狀態(tài)）：

image.png

TFTP 協(xié)議

TFTP 簡(jiǎn)介
TFTP（ Trivial File Transfer Protocol ）是 TCP/IP 協(xié)議族中的一個(gè)用來在客戶機(jī)與服務(wù)器之間進(jìn)行簡(jiǎn)單文件傳輸?shù)膮f(xié)議兽叮，提供不復(fù)雜芬骄、開銷不大的文件傳輸服務(wù)，它基于 UDP 協(xié)議鹦聪，使用端口 69 账阻。
此協(xié)議設(shè)計(jì)的時(shí)候是進(jìn)行小文件傳輸?shù)模c FTP 相比少了許多功能泽本，它只能從文件服務(wù)器上獲得或?qū)懭胛募蕴荒芰谐瞿夸洠贿M(jìn)行認(rèn)證规丽。

TFTP 也有著它自身的優(yōu)點(diǎn)：
TFTP 可用于 UDP 環(huán)境蒲牧；比如當(dāng)需要將程序或者文件同時(shí)向許多機(jī)器下載時(shí)就往往需要使用到 TFTP 協(xié)議。
TFTP 代碼所占的內(nèi)存較小赌莺，這對(duì)于小型計(jì)算機(jī)或者某些特殊用途的設(shè)備來說是很重要的冰抢，TFTP 具有更多的靈活性，也減少了開銷艘狭。
TFTP 報(bào)文格式

image.png

SMTP 協(xié)議和 POP3 協(xié)議

SMTP 簡(jiǎn)介
SMTP（Simple Mail Transfer Protocol）即簡(jiǎn)單郵件傳輸協(xié)議龙致，它是一組用于由源地址到目的地址傳送郵件的規(guī)則蛀缝，由它來控制信件的中轉(zhuǎn)方式,它使用 TCP 協(xié)議，使用端口 25目代。

SMTP 存在兩個(gè)端：
在發(fā)信人的郵件服務(wù)器上執(zhí)行的客戶端屈梁；
在收信人的郵件服務(wù)器上執(zhí)行的服務(wù)器端。

SMTP 的客戶端和服務(wù)器端同時(shí)運(yùn)行在每個(gè)郵件服務(wù)器上榛了。當(dāng)一個(gè)郵件服務(wù)器在向其它郵件服務(wù)器發(fā)送郵件消息時(shí)在讶，它是作為 SMTP 客戶在運(yùn)行。
SMTP 的連接和發(fā)送過程
建立 TCP 連接
客戶端向服務(wù)器發(fā)送 HELO 命令以標(biāo)識(shí)發(fā)件人自己的身份霜大，然后客戶端發(fā)送 MAIL 命令
服務(wù)器端以 OK 作為響應(yīng)构哺，表示準(zhǔn)備接收
客戶端發(fā)送 RCPT 命令
服務(wù)器端表示是否愿意為收件人接收郵件
協(xié)商結(jié)束，發(fā)送郵件战坤，用命令 DATA 發(fā)送輸入內(nèi)容
結(jié)束此次發(fā)送曙强，用 QUIT 命令退出

SMTP 協(xié)議詳解及工作過程
POP3 簡(jiǎn)介
POP3（Post Office Protocol Version 3 ）即郵局協(xié)議版本 3，是 TCP/IP 協(xié)議族中的一員 途茫，主要用于支持使用客戶端遠(yuǎn)程管理在服務(wù)器上的電子郵件碟嘴，使用 TCP 協(xié)議，使用端口 110 囊卜。
POP3 郵件服務(wù)器大都可以“只下載郵件娜扇，服務(wù)器端并不刪除”，也就是改進(jìn)的 POP3 協(xié)議栅组。

POP3 工作過程
用戶運(yùn)行用戶代理（如 Foxmail, Outlook Express）
用戶代理（以下簡(jiǎn)稱客戶端）與郵件服務(wù)器（以下簡(jiǎn)稱服務(wù)器端）的 110 端口建立 TCP 連接
客戶端向服務(wù)器端發(fā)出各種命令袱衷，來請(qǐng)求各種服務(wù)（如查詢郵箱信息，下載某封郵件等）
服務(wù)端解析用戶的命令笑窜，做出相應(yīng)動(dòng)作并返回給客戶端一個(gè)響應(yīng)
上述的兩個(gè)步驟交替進(jìn)行，直到接收完所有郵件轉(zhuǎn)到下一步登疗，或兩者的連接被意外中斷而直接退出
用戶代理解析從服務(wù)器端獲得的郵件排截，以適當(dāng)?shù)匦问剑ㄈ缈勺x）的形式呈現(xiàn)給用戶

（參考郵件服務(wù)器之 POP3 協(xié)議分析）
POP3 和 SMTP 協(xié)同工作
一封郵件的發(fā)送過程：

image.png

作業(yè)

使用 host 命令查看常見網(wǎng)站的 IP 地址，用 tcpdump 抓取 DNS 報(bào)文做解讀垦垂，并截圖宦搬。參考：tcpdump 抓取命令：sudo tcpdump -vvv -X udp port 53
查看 Linux 的 hosts 文件，并截圖劫拗。
使用 tcpdump 抓取 HTTP 報(bào)文做解讀间校，并截圖。參考：瀏覽器輸入一個(gè)不存在的網(wǎng)址页慷，抓取狀態(tài)碼為 404 報(bào)文憔足。
使用 telnet 命令測(cè)試本地端口開放情況，并用 netstat -pantu 命令驗(yàn)證