爬蟲概述
1.目錄清單
- 爬蟲簡介
- 通用爬蟲和聚焦爬蟲
- 網(wǎng)絡(luò)請(qǐng)求那些事兒
- 網(wǎng)絡(luò)數(shù)據(jù)抓包分析
2.章節(jié)內(nèi)容
2.1爬蟲簡介
在各行各業(yè)如火如荼快速發(fā)展的今天肝匆，市場(chǎng)是決定一家公司是否可持續(xù)發(fā)展最重要的一個(gè)衡量指標(biāo)任内，市場(chǎng)的定位和發(fā)展核心是對(duì)行業(yè)數(shù)據(jù)的分析，對(duì)于數(shù)據(jù)的分析必須進(jìn)行大量數(shù)據(jù)的統(tǒng)計(jì)分析才能得到一個(gè)比較中肯的處理建議，那么問題就來了~分析市場(chǎng)的行業(yè)數(shù)據(jù)廊佩，從哪里才能得到呢拴还？
當(dāng)數(shù)據(jù)開始變得敏感開始變得值錢起來(一直都很值錢)之后膝宁，很多官方或者民間的機(jī)構(gòu)鸦难，開始就數(shù)據(jù)市場(chǎng)展開了新一輪的競(jìng)爭(zhēng)，如官方會(huì)提供各種數(shù)據(jù)的統(tǒng)計(jì)信息方便大家了解目前的民生情況员淫，百度提供了搜索引擎數(shù)據(jù)方便上網(wǎng)的時(shí)候進(jìn)行的快速檢索合蔽，騰訊指數(shù)提供了對(duì)于時(shí)下流行關(guān)鍵詞的指數(shù)分析方便對(duì)于某些數(shù)據(jù)的統(tǒng)計(jì)信息的提取等等，總的來說~數(shù)據(jù)提供者一般都提供兩種數(shù)據(jù)介返，一種可以共享的免費(fèi)數(shù)據(jù)拴事，一種比較有針對(duì)性的私密數(shù)據(jù)；免費(fèi)數(shù)據(jù)可以供所有人查看圣蝎，但是私密數(shù)據(jù)在一定程度上可以選擇收費(fèi)查閱或者直接禁止查閱刃宵，目前對(duì)于數(shù)據(jù)的來源一把都有如下方式：
- 企業(yè)分析數(shù)據(jù)，如百度指數(shù)徘公、騰訊指數(shù)组去、阿里指數(shù)等等
- 數(shù)據(jù)平臺(tái)機(jī)構(gòu)，如數(shù)據(jù)堂步淹，國云數(shù)據(jù)市場(chǎng)等等
- 政府機(jī)構(gòu)數(shù)據(jù)从隆，如納斯達(dá)克指數(shù)、國家統(tǒng)計(jì)局?jǐn)?shù)據(jù)等等
- 數(shù)據(jù)咨詢公司缭裆，如艾瑞咨詢等等
- 網(wǎng)絡(luò)爬蟲采集
問題1：并不是所有公司都可以付費(fèi)購買數(shù)據(jù)
問題2：并不是所有的公司都滿足于免費(fèi)的數(shù)據(jù)键闺？！
問題3：那么數(shù)據(jù)從哪里來澈驼？
網(wǎng)絡(luò)爬蟲辛燥，主要是針對(duì)網(wǎng)絡(luò)上的數(shù)據(jù)通過駁岸城的方式使用程序自動(dòng)采集的一種手段，公司除了第三方平臺(tái)直接使用免費(fèi)的數(shù)據(jù)或者購買數(shù)據(jù)之外缝其，更多的是通過網(wǎng)絡(luò)爬蟲的方式讓爬蟲工程師負(fù)責(zé)采集公司所需要的數(shù)據(jù)挎塌！這也就是為什么爬蟲工程師這么吃香的原因了！
2.2通用爬蟲和聚焦爬蟲
一般情況下内边，根基爬蟲程序的應(yīng)用場(chǎng)景不同榴都，可以將爬蟲程序大致分為兩種類型：通用爬蟲和聚焦爬蟲
通用爬蟲：通用爬蟲是網(wǎng)絡(luò)搜索引擎的一部分，遵循爬蟲的robot協(xié)議漠其，負(fù)責(zé)采集網(wǎng)絡(luò)中的網(wǎng)頁信息內(nèi)容并建立索引嘴高，在自己的搜索引擎服務(wù)器上建議網(wǎng)絡(luò)信息的索引鏡像備份文件，達(dá)到對(duì)網(wǎng)絡(luò)刪的信息內(nèi)容可以快速檢索的目的
robot協(xié)議：是關(guān)于網(wǎng)絡(luò)爬蟲的一種約定的協(xié)議和屎，robot協(xié)議明確告訴了通用網(wǎng)絡(luò)爬蟲拴驮，哪些數(shù)據(jù)內(nèi)容是可以爬取的，哪些數(shù)據(jù)內(nèi)容是不允許爬蟲采集的柴信，如果是合法合規(guī)的爬蟲程序套啤，必須遵循robot協(xié)議約定的采集內(nèi)容區(qū)域，否則可能涉及到維權(quán)行為随常！
通用爬蟲在一定程度上滿足了大量網(wǎng)民的需求潜沦，可以通過搜索引擎快速檢索需要的網(wǎng)頁
但是公司針對(duì)性的獲取數(shù)據(jù)的場(chǎng)景，通用爬蟲就存在了很大的限制线罕，如通用爬蟲獲取的網(wǎng)頁數(shù)據(jù)對(duì)于公司的需求來說很大一部分是無效的止潮，因?yàn)閷?duì)于分析數(shù)據(jù)來說網(wǎng)頁中的廣告信息、輪播圖片信息钞楼、導(dǎo)航信息等等都是無效數(shù)據(jù)喇闸；公司不同的需求需要采集的數(shù)據(jù)形式也是多樣的，通用搜索引擎的常規(guī)操作方式并不能完全滿足這樣的操作現(xiàn)狀的询件；尤其是針對(duì)有特定語義化搜索的數(shù)據(jù)來說燃乍，通用搜索引擎更是無能為力的的！
聚焦爬蟲： 聚焦爬蟲是通過編程的方式針對(duì)特定的需要進(jìn)行數(shù)據(jù)定向采集的一種手段宛琅，能更好的更加準(zhǔn)確的采集用戶需要的數(shù)據(jù)刻蟹，在一定程序上能很好的滿足業(yè)務(wù)數(shù)據(jù)需要。缺點(diǎn)在于聚焦爬蟲的編碼工作比較繁瑣嘿辟，針對(duì)不同類型的數(shù)據(jù)采集工作舆瘪，需要定制化的開發(fā)不同的程序代碼片效。然而~瑕不掩瑜的是，定向爬蟲由于其特定收的采集手段英古，尤其是程序開發(fā)人員對(duì)于問題處理的操作方式愈發(fā)先進(jìn)和自動(dòng)化淀衣，聚焦爬蟲更加受到公司的歡迎！
2.3 網(wǎng)絡(luò)請(qǐng)求那些事兒
網(wǎng)絡(luò)中的數(shù)據(jù)召调，更多的操作是對(duì)于目標(biāo)服務(wù)器上的網(wǎng)頁數(shù)據(jù)的方式膨桥，網(wǎng)頁數(shù)據(jù)的訪問一般使用的都是HTTP和HTTPS協(xié)議；通過瀏覽器進(jìn)行網(wǎng)頁訪問的過程中唠叛，在請(qǐng)求的請(qǐng)求頭信息中包含了客戶端瀏覽器的身份信息只嚣；在響應(yīng)數(shù)據(jù)中包含了對(duì)于響應(yīng)內(nèi)容的描述信息等
2.3.1 HTTP和HTTPS協(xié)議
HTTP協(xié)議是超文本傳輸協(xié)議，是網(wǎng)頁訪問過程中最常用的一種協(xié)議艺沼，用于傳輸超文本標(biāo)簽描述的數(shù)據(jù)內(nèi)容册舞。默認(rèn)訪問端口：80
HTTPS協(xié)議是提供了安全通道的HTTP協(xié)議，在網(wǎng)頁數(shù)據(jù)訪問過程中澳厢，對(duì)于訪問的數(shù)據(jù)進(jìn)行了數(shù)字簽名實(shí)現(xiàn)了非對(duì)稱的數(shù)據(jù)加密方式以保障數(shù)據(jù)的安全性环础。默認(rèn)訪問端口：443
在指定的訪問協(xié)議寫，進(jìn)行數(shù)據(jù)資源的訪問剩拢，通過網(wǎng)絡(luò)統(tǒng)一資源定位符URL進(jìn)行訪問线得，一般情況下，一個(gè)完整的請(qǐng)求URL主要包含如下幾個(gè)部分：
[訪問協(xié)議]://[主機(jī)域名][:端口號(hào)]/[資源路徑][?查詢字符串]
2.3.2 請(qǐng)求方式
HTTP1.1協(xié)議標(biāo)準(zhǔn)規(guī)定了8中常規(guī)請(qǐng)求方式徐伐，分別如下：
GET：定義用于從服務(wù)器獲取數(shù)據(jù)
POST：定義用于向服務(wù)器更新數(shù)據(jù)
PUT：定義用于向服務(wù)器提交數(shù)據(jù)
DELETE：定義用于在服務(wù)器中刪除指定數(shù)據(jù)
OPTIONS：定義客戶端可以通過請(qǐng)求查詢服務(wù)器處理信息
HEAD：定義用于獲取請(qǐng)求內(nèi)容的報(bào)文頭信息
CONNECT：定義可以通過管道的方式連接
TRACE：定義心跳消息診斷的實(shí)現(xiàn)
常規(guī)的web項(xiàng)目中贯钩，在實(shí)際使用操作時(shí)我們一般使用get/post兩種請(qǐng)求操作方式，通過get/post兩種請(qǐng)求方式完成和服務(wù)器之間的常規(guī)數(shù)據(jù)交互已經(jīng)可以滿足我們項(xiàng)目的大部分情況
GET請(qǐng)求：訪問的url地址中可以包含傳遞給服務(wù)器的參數(shù)办素，參數(shù)必須是字符串角雷，url地址的長度瀏覽器本身沒有限制，但是受到服務(wù)器最大接收數(shù)據(jù)長度的限制性穿，所以get請(qǐng)求一般用于傳輸不需要保密的長度收到限制的字符串?dāng)?shù)據(jù)勺三。處理效率較高
POST請(qǐng)求：訪問的url地址中不會(huì)出現(xiàn)傳遞給服務(wù)器的參數(shù)，參數(shù)會(huì)包含在請(qǐng)求體中進(jìn)行處理需曾，主要傳遞字符串?dāng)?shù)據(jù)吗坚，可以傳遞二進(jìn)制數(shù)據(jù)，傳遞數(shù)據(jù)的大小瀏覽器同樣沒有做什么限制呆万，但是服務(wù)器端會(huì)根據(jù)實(shí)際需要進(jìn)行數(shù)據(jù)量的限制商源，避免傳遞過大的數(shù)據(jù)到底服務(wù)器資源不夠使用！所以post請(qǐng)求一般用于傳遞較為敏感的不能暴露給別人看到的并且數(shù)據(jù)較大的數(shù)據(jù)谋减。
隨著web軟件的發(fā)展牡彻，除了常規(guī)的請(qǐng)求操作方式之外，新的請(qǐng)求處理方式RESTful風(fēng)格也逐步的在很多軟件中開始應(yīng)用出爹，在RESTful處理風(fēng)格中庄吼，經(jīng)常使用如下四種請(qǐng)求方式：
GET: 用于從服務(wù)器中獲取數(shù)據(jù)
POST：用于在服務(wù)器中更新數(shù)據(jù)
DELETE：用于在服務(wù)器中刪除指定數(shù)據(jù)
PUT: 用于向服務(wù)器提交新的數(shù)據(jù)
并且在處理過程中缎除，和服務(wù)器交互的參數(shù)有可能會(huì)包含在Url地址中，這樣更加提高了參數(shù)的安全性总寻。
2.3.3 請(qǐng)求頭 request header
請(qǐng)求頭信息是請(qǐng)求數(shù)據(jù)的重要組成部分之一伴找，包含了客戶端請(qǐng)求的身份標(biāo)識(shí)等重要信息，就請(qǐng)求頭簡單了解如下內(nèi)容：
Host：訪問web資源的網(wǎng)絡(luò)域名和端口號(hào)
Connection: 連接類型废菱，一般當(dāng)下瀏覽器都會(huì)發(fā)送一個(gè)這樣數(shù)據(jù)：Connection:keep-alive給對(duì)應(yīng)的服務(wù)器，keep-alive是保持連接的意思抖誉，也就是長連接的意思殊轴，如果服務(wù)器支持客戶端keep-alive長連接，會(huì)返回包含keep-alive的響應(yīng)數(shù)據(jù)表示建立長連接袒炉，可以繼續(xù)進(jìn)行操作旁理；如果服務(wù)器不支持就直接返回close關(guān)閉連接操作
Upgrade-insecure-requests：請(qǐng)求升級(jí)，就是當(dāng)用戶在通過http協(xié)議訪問當(dāng)前資源數(shù)據(jù)時(shí)我磁，自動(dòng)替換為https安全訪問協(xié)議并且不提示警告信息
User-agent：用戶代理孽文，用于代理客戶發(fā)起請(qǐng)求的工具，一般表示瀏覽器夺艰，描述訪問網(wǎng)頁的瀏覽器的信息
Accept：接受數(shù)據(jù)類型描述芋哭；如Accept:text/html;表示客戶端可以接收的數(shù)據(jù)是html網(wǎng)頁文檔數(shù)據(jù)；Accept:/;表示客戶端可以接收任何數(shù)據(jù)
Accept-encoding：接受文件的解碼格式郁副，一般傳輸?shù)膬?nèi)容如：Accept-encoding:gzip;q=1.0;identify;q=0.5;*;q=0,表示如果有返回多種數(shù)據(jù)內(nèi)容减牺，首先匹配gzip壓縮的文檔內(nèi)容，如果不是通過gzip壓縮的格式存谎，就匹配identify壓縮編碼格式拔疚；否則就接受任意編碼格式的數(shù)據(jù)
Accept-language：客戶端的語言類型，當(dāng)服務(wù)器支持指定的語言類型時(shí)既荚，返回給客戶端指定的國際化語言內(nèi)容稚失；
Referer：請(qǐng)求來源，也就是當(dāng)前網(wǎng)頁是從哪個(gè)網(wǎng)頁發(fā)起的請(qǐng)求恰聘，一般用于反盜鏈操作
Cookie：發(fā)送給服務(wù)器的cookie數(shù)據(jù)句各，通過請(qǐng)求頭中的cookie屬性將客戶端的cookie數(shù)據(jù)傳遞給服務(wù)器進(jìn)行處理
Content-type：內(nèi)容類型，一般在POST請(qǐng)求中有效憨琳，表示指定post請(qǐng)求傳遞的數(shù)據(jù)的類型
2.3.4 響應(yīng)頭 response header
當(dāng)服務(wù)器正常處理了需要操作的業(yè)務(wù)之后诫钓，就會(huì)以響應(yīng)的方式返回給客戶端瀏覽器對(duì)應(yīng)的數(shù)據(jù)，響應(yīng)對(duì)象本身就會(huì)包含對(duì)于響應(yīng)的數(shù)據(jù)內(nèi)容的描述信息
- Cache-control：must-revalidate|no-cache|private
該響應(yīng)頭信息非常重要篙螟，如果響應(yīng)頭明確Cache-control:max-age=0或者no-cache表示不緩存任何數(shù)據(jù)菌湃，任何時(shí)間再次發(fā)起請(qǐng)求都從服務(wù)器獲取新的數(shù)據(jù)；同樣如果指定了Cache-control:max-age=102460*60則表示在指定的時(shí)間段獲取新的數(shù)據(jù)直接從緩存中提取遍略，不需要從服務(wù)器獲染逅骤坐；如果響應(yīng)頭中不包含Cache-control信息，則所有數(shù)據(jù)全部采用默認(rèn)緩存方式
- Connection:keep-alive|close
用于高速客戶端的請(qǐng)求方式是否保持連接下愈，某些情況下保持連接是必要的纽绍，可以在多次發(fā)起連接時(shí)重復(fù)使用打開的連接方式，有助于提高處理效率
- Content-encoding：gzip
響應(yīng)內(nèi)容編碼方式势似，一般默認(rèn)gzip拌夏，就是告訴客戶端服務(wù)器響應(yīng)的數(shù)據(jù)內(nèi)容是經(jīng)過gzip壓縮處理的，需要客戶端解壓縮解碼操作
- Content-type：text/html;charset=UTF-8
響應(yīng)數(shù)據(jù)內(nèi)容類型履因，一般直接描述內(nèi)容的文件屬性和編碼方式障簿，方便客戶端瀏覽器可以針對(duì)文件屬性使用指定方式進(jìn)行加載，通過指定的編碼方式進(jìn)行解碼操作正常顯示加載的數(shù)據(jù)內(nèi)容
- Date：Sat, 06 Jan 2018 02:48:36 GMT
響應(yīng)數(shù)據(jù)傳輸時(shí)間栅迄，HTTP協(xié)議標(biāo)準(zhǔn)指定使用GMT格林尼治時(shí)間
- Expires:Sat, 13 Jan 2018 01:00:07 GMT
過期時(shí)間站故，指定某個(gè)資源的過期時(shí)間，過期之前通過緩存直接提取數(shù)據(jù)而不是從服務(wù)器獲取數(shù)據(jù)
- Server：BWS/1.1
服務(wù)器信息描述
- Transfer-encoding：chunked
響應(yīng)數(shù)據(jù)內(nèi)容分塊
2.3.5 HTTP 狀態(tài)碼
| 編碼 | 描述 |
|---|---|
| 100 | 客戶端應(yīng)當(dāng)繼續(xù)發(fā)送請(qǐng)求毅舆。這個(gè)臨時(shí)響應(yīng)是用來通知客戶端它的部分請(qǐng)求已經(jīng)被服務(wù)器接收西篓，且仍未被拒絕”锘睿客戶端應(yīng)當(dāng)繼續(xù)發(fā)送請(qǐng)求的剩余部分岂津，或者如果請(qǐng)求已經(jīng)完成，忽略這個(gè)響應(yīng)余掖。服務(wù)器必須在請(qǐng)求完成后向客戶端發(fā)送一個(gè)最終響應(yīng)寸爆。 |
| 101 | 服務(wù)器已經(jīng)理解了客戶端的請(qǐng)求，并將通過Upgrade 消息頭通知客戶端采用不同的協(xié)議來完成這個(gè)請(qǐng)求盐欺。在發(fā)送完這個(gè)響應(yīng)最后的空行后赁豆，服務(wù)器將會(huì)切換到在Upgrade 消息頭中定義的那些協(xié)議。 只有在切換新的協(xié)議更有好處的時(shí)候才應(yīng)該采取類似措施冗美。例如魔种，切換到新的HTTP 版本比舊版本更有優(yōu)勢(shì)，或者切換到一個(gè)實(shí)時(shí)且同步的協(xié)議以傳送利用此類特性的資源 |
| 102 | 由WebDAV（RFC 2518）擴(kuò)展的狀態(tài)碼粉洼，代表處理將被繼續(xù)執(zhí)行节预。 |
| 200 | 請(qǐng)求已成功，請(qǐng)求所希望的響應(yīng)頭或數(shù)據(jù)體將隨此響應(yīng)返回属韧。 |
| 201 | 請(qǐng)求已經(jīng)被實(shí)現(xiàn)安拟，而且有一個(gè)新的資源已經(jīng)依據(jù)請(qǐng)求的需要而建立，且其 URI 已經(jīng)隨Location 頭信息返回宵喂。假如需要的資源無法及時(shí)建立的話糠赦，應(yīng)當(dāng)返回 '202 Accepted'。 |
| 202 | 服務(wù)器已接受請(qǐng)求，但尚未處理拙泽。正如它可能被拒絕一樣淌山，最終該請(qǐng)求可能會(huì)也可能不會(huì)被執(zhí)行。在異步操作的場(chǎng)合下顾瞻，沒有比發(fā)送這個(gè)狀態(tài)碼更方便的做法了泼疑。 返回202狀態(tài)碼的響應(yīng)的目的是允許服務(wù)器接受其他過程的請(qǐng)求（例如某個(gè)每天只執(zhí)行一次的基于批處理的操作），而不必讓客戶端一直保持與服務(wù)器的連接直到批處理操作全部完成荷荤。在接受請(qǐng)求處理并返回202狀態(tài)碼的響應(yīng)應(yīng)當(dāng)在返回的實(shí)體中包含一些指示處理當(dāng)前狀態(tài)的信息退渗，以及指向處理狀態(tài)監(jiān)視器或狀態(tài)預(yù)測(cè)的指針，以便用戶能夠估計(jì)操作是否已經(jīng)完成蕴纳。 |
| 203 | 服務(wù)器已成功處理了請(qǐng)求氓辣，但返回的實(shí)體頭部元信息不是在原始服務(wù)器上有效的確定集合，而是來自本地或者第三方的拷貝袱蚓。當(dāng)前的信息可能是原始版本的子集或者超集。例如几蜻，包含資源的元數(shù)據(jù)可能導(dǎo)致原始服務(wù)器知道元信息的超級(jí)喇潘。使用此狀態(tài)碼不是必須的，而且只有在響應(yīng)不使用此狀態(tài)碼便會(huì)返回200 OK的情況下才是合適的梭稚。 |
| 204 | 服務(wù)器成功處理了請(qǐng)求颖低，但不需要返回任何實(shí)體內(nèi)容，并且希望返回更新了的元信息弧烤。響應(yīng)可能通過實(shí)體頭部的形式忱屑，返回新的或更新后的元信息。如果存在這些頭部信息暇昂，則應(yīng)當(dāng)與所請(qǐng)求的變量相呼應(yīng)莺戒。 如果客戶端是瀏覽器的話，那么用戶瀏覽器應(yīng)保留發(fā)送了該請(qǐng)求的頁面急波，而不產(chǎn)生任何文檔視圖上的變化从铲，即使按照規(guī)范新的或更新后的元信息應(yīng)當(dāng)被應(yīng)用到用戶瀏覽器活動(dòng)視圖中的文檔。 由于204響應(yīng)被禁止包含任何消息體澄暮，因此它始終以消息頭后的第一個(gè)空行結(jié)尾名段。 |
| 205 | 服務(wù)器成功處理了請(qǐng)求，且沒有返回任何內(nèi)容泣懊。但是與204響應(yīng)不同伸辟，返回此狀態(tài)碼的響應(yīng)要求請(qǐng)求者重置文檔視圖。該響應(yīng)主要是被用于接受用戶輸入后馍刮，立即重置表單信夫，以便用戶能夠輕松地開始另一次輸入。 與204響應(yīng)一樣，該響應(yīng)也被禁止包含任何消息體忙迁，且以消息頭后的第一個(gè)空行結(jié)束脐彩。 |
| 206 | 服務(wù)器已經(jīng)成功處理了部分 GET 請(qǐng)求。類似于 FlashGet 或者迅雷這類的 HTTP 下載工具都是使用此類響應(yīng)實(shí)現(xiàn)斷點(diǎn)續(xù)傳或者將一個(gè)大文檔分解為多個(gè)下載段同時(shí)下載姊扔。 該請(qǐng)求必須包含 Range 頭信息來指示客戶端希望得到的內(nèi)容范圍惠奸，并且可能包含 If-Range 來作為請(qǐng)求條件。 響應(yīng)必須包含如下的頭部域： Content-Range 用以指示本次響應(yīng)中返回的內(nèi)容的范圍恰梢；如果是 Content-Type 為 multipart/byteranges 的多段下載佛南，則每一 multipart 段中都應(yīng)包含 Content-Range 域用以指示本段的內(nèi)容范圍。假如響應(yīng)中包含 Content-Length嵌言，那么它的數(shù)值必須匹配它返回的內(nèi)容范圍的真實(shí)字節(jié)數(shù)嗅回。 Date ETag 和/或 Content-Location，假如同樣的請(qǐng)求本應(yīng)該返回200響應(yīng)摧茴。 Expires, Cache-Control绵载，和/或 Vary，假如其值可能與之前相同變量的其他響應(yīng)對(duì)應(yīng)的值不同的話苛白。 假如本響應(yīng)請(qǐng)求使用了 If-Range 強(qiáng)緩存驗(yàn)證娃豹，那么本次響應(yīng)不應(yīng)該包含其他實(shí)體頭；假如本響應(yīng)的請(qǐng)求使用了 If-Range 弱緩存驗(yàn)證购裙，那么本次響應(yīng)禁止包含其他實(shí)體頭懂版；這避免了緩存的實(shí)體內(nèi)容和更新了的實(shí)體頭信息之間的不一致。否則躏率，本響應(yīng)就應(yīng)當(dāng)包含所有本應(yīng)該返回200響應(yīng)中應(yīng)當(dāng)返回的所有實(shí)體頭部域躯畴。 假如 ETag 或 Last-Modified 頭部不能精確匹配的話，則客戶端緩存應(yīng)禁止將206響應(yīng)返回的內(nèi)容與之前任何緩存過的內(nèi)容組合在一起薇芝。 任何不支持 Range 以及 Content-Range 頭的緩存都禁止緩存206響應(yīng)返回的內(nèi)容蓬抄。 |
| 207 | 由WebDAV(RFC 2518)擴(kuò)展的狀態(tài)碼，代表之后的消息體將是一個(gè)XML消息夯到，并且可能依照之前子請(qǐng)求數(shù)量的不同倡鲸，包含一系列獨(dú)立的響應(yīng)代碼。 |
| 300 | 被請(qǐng)求的資源有一系列可供選擇的回饋信息黄娘，每個(gè)都有自己特定的地址和瀏覽器驅(qū)動(dòng)的商議信息峭状。用戶或?yàn)g覽器能夠自行選擇一個(gè)首選的地址進(jìn)行重定向。 除非這是一個(gè) HEAD 請(qǐng)求逼争，否則該響應(yīng)應(yīng)當(dāng)包括一個(gè)資源特性及地址的列表的實(shí)體优床，以便用戶或?yàn)g覽器從中選擇最合適的重定向地址。這個(gè)實(shí)體的格式由 Content-Type 定義的格式所決定誓焦。瀏覽器可能根據(jù)響應(yīng)的格式以及瀏覽器自身能力胆敞，自動(dòng)作出最合適的選擇着帽。當(dāng)然，RFC 2616規(guī)范并沒有規(guī)定這樣的自動(dòng)選擇該如何進(jìn)行移层。 如果服務(wù)器本身已經(jīng)有了首選的回饋選擇仍翰，那么在 Location 中應(yīng)當(dāng)指明這個(gè)回饋的 URI；瀏覽器可能會(huì)將這個(gè) Location 值作為自動(dòng)重定向的地址观话。此外予借，除非額外指定，否則這個(gè)響應(yīng)也是可緩存的频蛔。 |
| 301 | 被請(qǐng)求的資源已永久移動(dòng)到新位置灵迫，并且將來任何對(duì)此資源的引用都應(yīng)該使用本響應(yīng)返回的若干個(gè) URI 之一。如果可能晦溪，擁有鏈接編輯功能的客戶端應(yīng)當(dāng)自動(dòng)把請(qǐng)求的地址修改為從服務(wù)器反饋回來的地址瀑粥。除非額外指定，否則這個(gè)響應(yīng)也是可緩存的三圆。 新的永久性的 URI 應(yīng)當(dāng)在響應(yīng)的 Location 域中返回狞换。除非這是一個(gè) HEAD 請(qǐng)求，否則響應(yīng)的實(shí)體中應(yīng)當(dāng)包含指向新的 URI 的超鏈接及簡短說明舟肉。 如果這不是一個(gè) GET 或者 HEAD 請(qǐng)求哀澈，因此瀏覽器禁止自動(dòng)進(jìn)行重定向，除非得到用戶的確認(rèn)度气，因?yàn)檎?qǐng)求的條件可能因此發(fā)生變化。 注意：對(duì)于某些使用 HTTP/1.0 協(xié)議的瀏覽器膨报，當(dāng)它們發(fā)送的 POST 請(qǐng)求得到了一個(gè)301響應(yīng)的話磷籍，接下來的重定向請(qǐng)求將會(huì)變成 GET 方式。 |
| 302 | 請(qǐng)求的資源現(xiàn)在臨時(shí)從不同的 URI 響應(yīng)請(qǐng)求现柠。由于這樣的重定向是臨時(shí)的院领，客戶端應(yīng)當(dāng)繼續(xù)向原有地址發(fā)送以后的請(qǐng)求。只有在Cache-Control或Expires中進(jìn)行了指定的情況下够吩，這個(gè)響應(yīng)才是可緩存的比然。 新的臨時(shí)性的 URI 應(yīng)當(dāng)在響應(yīng)的 Location 域中返回。除非這是一個(gè) HEAD 請(qǐng)求周循，否則響應(yīng)的實(shí)體中應(yīng)當(dāng)包含指向新的 URI 的超鏈接及簡短說明强法。 如果這不是一個(gè) GET 或者 HEAD 請(qǐng)求，那么瀏覽器禁止自動(dòng)進(jìn)行重定向湾笛，除非得到用戶的確認(rèn)饮怯，因?yàn)檎?qǐng)求的條件可能因此發(fā)生變化。 注意：雖然RFC 1945和RFC 2068規(guī)范不允許客戶端在重定向時(shí)改變請(qǐng)求的方法嚎研，但是很多現(xiàn)存的瀏覽器將302響應(yīng)視作為303響應(yīng)蓖墅，并且使用 GET 方式訪問在 Location 中規(guī)定的 URI，而無視原先請(qǐng)求的方法。狀態(tài)碼303和307被添加了進(jìn)來论矾，用以明確服務(wù)器期待客戶端進(jìn)行何種反應(yīng)教翩。 |
| 303 | 對(duì)應(yīng)當(dāng)前請(qǐng)求的響應(yīng)可以在另一個(gè) URI 上被找到，而且客戶端應(yīng)當(dāng)采用 GET 的方式訪問那個(gè)資源贪壳。這個(gè)方法的存在主要是為了允許由腳本激活的POST請(qǐng)求輸出重定向到一個(gè)新的資源饱亿。這個(gè)新的 URI 不是原始資源的替代引用。同時(shí)寥袭，303響應(yīng)禁止被緩存路捧。當(dāng)然，第二個(gè)請(qǐng)求（重定向）可能被緩存传黄。 新的 URI 應(yīng)當(dāng)在響應(yīng)的 Location 域中返回杰扫。除非這是一個(gè) HEAD 請(qǐng)求，否則響應(yīng)的實(shí)體中應(yīng)當(dāng)包含指向新的 URI 的超鏈接及簡短說明膘掰。 注意：許多 HTTP/1.1 版以前的 瀏覽器不能正確理解303狀態(tài)章姓。如果需要考慮與這些瀏覽器之間的互動(dòng)，302狀態(tài)碼應(yīng)該可以勝任识埋，因?yàn)榇蠖鄶?shù)的瀏覽器處理302響應(yīng)時(shí)的方式恰恰就是上述規(guī)范要求客戶端處理303響應(yīng)時(shí)應(yīng)當(dāng)做的凡伊。 |
| 304 | 如果客戶端發(fā)送了一個(gè)帶條件的 GET 請(qǐng)求且該請(qǐng)求已被允許，而文檔的內(nèi)容（自上次訪問以來或者根據(jù)請(qǐng)求的條件）并沒有改變窒舟，則服務(wù)器應(yīng)當(dāng)返回這個(gè)狀態(tài)碼系忙。304響應(yīng)禁止包含消息體，因此始終以消息頭后的第一個(gè)空行結(jié)尾惠豺。 該響應(yīng)必須包含以下的頭信息： Date银还，除非這個(gè)服務(wù)器沒有時(shí)鐘。假如沒有時(shí)鐘的服務(wù)器也遵守這些規(guī)則洁墙，那么代理服務(wù)器以及客戶端可以自行將 Date 字段添加到接收到的響應(yīng)頭中去（正如RFC 2068中規(guī)定的一樣）蛹疯，緩存機(jī)制將會(huì)正常工作。 ETag 和/或 Content-Location热监，假如同樣的請(qǐng)求本應(yīng)返回200響應(yīng)捺弦。 Expires, Cache-Control，和/或Vary孝扛，假如其值可能與之前相同變量的其他響應(yīng)對(duì)應(yīng)的值不同的話列吼。 假如本響應(yīng)請(qǐng)求使用了強(qiáng)緩存驗(yàn)證，那么本次響應(yīng)不應(yīng)該包含其他實(shí)體頭苦始；否則（例如冈欢，某個(gè)帶條件的 GET 請(qǐng)求使用了弱緩存驗(yàn)證），本次響應(yīng)禁止包含其他實(shí)體頭盈简；這避免了緩存了的實(shí)體內(nèi)容和更新了的實(shí)體頭信息之間的不一致凑耻。 假如某個(gè)304響應(yīng)指明了當(dāng)前某個(gè)實(shí)體沒有緩存太示，那么緩存系統(tǒng)必須忽視這個(gè)響應(yīng)，并且重復(fù)發(fā)送不包含限制條件的請(qǐng)求香浩。 假如接收到一個(gè)要求更新某個(gè)緩存條目的304響應(yīng)类缤，那么緩存系統(tǒng)必須更新整個(gè)條目以反映所有在響應(yīng)中被更新的字段的值。 |
| 305 | 被請(qǐng)求的資源必須通過指定的代理才能被訪問邻吭。Location 域中將給出指定的代理所在的 URI 信息餐弱，接收者需要重復(fù)發(fā)送一個(gè)單獨(dú)的請(qǐng)求，通過這個(gè)代理才能訪問相應(yīng)資源囱晴。只有原始服務(wù)器才能建立305響應(yīng)膏蚓。 注意：RFC 2068中沒有明確305響應(yīng)是為了重定向一個(gè)單獨(dú)的請(qǐng)求，而且只能被原始服務(wù)器建立畸写。忽視這些限制可能導(dǎo)致嚴(yán)重的安全后果驮瞧。 |
| 306 | 在最新版的規(guī)范中，306狀態(tài)碼已經(jīng)不再被使用枯芬。 |
| 307 | 請(qǐng)求的資源現(xiàn)在臨時(shí)從不同的URI 響應(yīng)請(qǐng)求论笔。由于這樣的重定向是臨時(shí)的，客戶端應(yīng)當(dāng)繼續(xù)向原有地址發(fā)送以后的請(qǐng)求千所。只有在Cache-Control或Expires中進(jìn)行了指定的情況下狂魔，這個(gè)響應(yīng)才是可緩存的。 新的臨時(shí)性的URI 應(yīng)當(dāng)在響應(yīng)的 Location 域中返回淫痰。除非這是一個(gè)HEAD 請(qǐng)求最楷，否則響應(yīng)的實(shí)體中應(yīng)當(dāng)包含指向新的URI 的超鏈接及簡短說明。因?yàn)椴糠譃g覽器不能識(shí)別307響應(yīng)待错，因此需要添加上述必要信息以便用戶能夠理解并向新的 URI 發(fā)出訪問請(qǐng)求籽孙。 如果這不是一個(gè)GET 或者 HEAD 請(qǐng)求，那么瀏覽器禁止自動(dòng)進(jìn)行重定向朗鸠，除非得到用戶的確認(rèn)，因?yàn)檎?qǐng)求的條件可能因此發(fā)生變化础倍。 |
| 400 | 1烛占、語義有誤，當(dāng)前請(qǐng)求無法被服務(wù)器理解沟启。除非進(jìn)行修改忆家，否則客戶端不應(yīng)該重復(fù)提交這個(gè)請(qǐng)求。 2德迹、請(qǐng)求參數(shù)有誤芽卿。 |
| 401 | 當(dāng)前請(qǐng)求需要用戶驗(yàn)證。該響應(yīng)必須包含一個(gè)適用于被請(qǐng)求資源的 WWW-Authenticate 信息頭用以詢問用戶信息胳搞⌒独客戶端可以重復(fù)提交一個(gè)包含恰當(dāng)?shù)?Authorization 頭信息的請(qǐng)求称杨。如果當(dāng)前請(qǐng)求已經(jīng)包含了 Authorization 證書，那么401響應(yīng)代表著服務(wù)器驗(yàn)證已經(jīng)拒絕了那些證書筷转。如果401響應(yīng)包含了與前一個(gè)響應(yīng)相同的身份驗(yàn)證詢問姑原，且瀏覽器已經(jīng)至少嘗試了一次驗(yàn)證，那么瀏覽器應(yīng)當(dāng)向用戶展示響應(yīng)中包含的實(shí)體信息呜舒，因?yàn)檫@個(gè)實(shí)體信息中可能包含了相關(guān)診斷信息锭汛。參見RFC 2617。 |
| 402 | 該狀態(tài)碼是為了將來可能的需求而預(yù)留的袭蝗。 |
| 403 | 服務(wù)器已經(jīng)理解請(qǐng)求唤殴，但是拒絕執(zhí)行它。與401響應(yīng)不同的是到腥，身份驗(yàn)證并不能提供任何幫助朵逝，而且這個(gè)請(qǐng)求也不應(yīng)該被重復(fù)提交。如果這不是一個(gè) HEAD 請(qǐng)求左电，而且服務(wù)器希望能夠講清楚為何請(qǐng)求不能被執(zhí)行廉侧，那么就應(yīng)該在實(shí)體內(nèi)描述拒絕的原因。當(dāng)然服務(wù)器也可以返回一個(gè)404響應(yīng)篓足，假如它不希望讓客戶端獲得任何信息段誊。 |
| 404 | 請(qǐng)求失敗，請(qǐng)求所希望得到的資源未被在服務(wù)器上發(fā)現(xiàn)栈拖。沒有信息能夠告訴用戶這個(gè)狀況到底是暫時(shí)的還是永久的连舍。假如服務(wù)器知道情況的話，應(yīng)當(dāng)使用410狀態(tài)碼來告知舊資源因?yàn)槟承﹥?nèi)部的配置機(jī)制問題涩哟，已經(jīng)永久的不可用索赏，而且沒有任何可以跳轉(zhuǎn)的地址。404這個(gè)狀態(tài)碼被廣泛應(yīng)用于當(dāng)服務(wù)器不想揭示到底為何請(qǐng)求被拒絕或者沒有其他適合的響應(yīng)可用的情況下贴彼。 |
| 405 | 請(qǐng)求行中指定的請(qǐng)求方法不能被用于請(qǐng)求相應(yīng)的資源潜腻。該響應(yīng)必須返回一個(gè)Allow 頭信息用以表示出當(dāng)前資源能夠接受的請(qǐng)求方法的列表。 鑒于 PUT器仗，DELETE 方法會(huì)對(duì)服務(wù)器上的資源進(jìn)行寫操作融涣，因而絕大部分的網(wǎng)頁服務(wù)器都不支持或者在默認(rèn)配置下不允許上述請(qǐng)求方法，對(duì)于此類請(qǐng)求均會(huì)返回405錯(cuò)誤精钮。 |
| 406 | 請(qǐng)求的資源的內(nèi)容特性無法滿足請(qǐng)求頭中的條件威鹿，因而無法生成響應(yīng)實(shí)體。 除非這是一個(gè) HEAD 請(qǐng)求轨香，否則該響應(yīng)就應(yīng)當(dāng)返回一個(gè)包含可以讓用戶或者瀏覽器從中選擇最合適的實(shí)體特性以及地址列表的實(shí)體忽你。實(shí)體的格式由 Content-Type 頭中定義的媒體類型決定。瀏覽器可以根據(jù)格式及自身能力自行作出最佳選擇臂容。但是科雳，規(guī)范中并沒有定義任何作出此類自動(dòng)選擇的標(biāo)準(zhǔn)根蟹。 |
| 407 | 與401響應(yīng)類似，只不過客戶端必須在代理服務(wù)器上進(jìn)行身份驗(yàn)證炸渡。代理服務(wù)器必須返回一個(gè) Proxy-Authenticate 用以進(jìn)行身份詢問娜亿。客戶端可以返回一個(gè) Proxy-Authorization 信息頭用以驗(yàn)證蚌堵。參見RFC 2617买决。 |
| 408 | 請(qǐng)求超時(shí)『鹞罚客戶端沒有在服務(wù)器預(yù)備等待的時(shí)間內(nèi)完成一個(gè)請(qǐng)求的發(fā)送督赤。客戶端可以隨時(shí)再次提交這一請(qǐng)求而無需進(jìn)行任何更改泻蚊。 |
| 409 | 由于和被請(qǐng)求的資源的當(dāng)前狀態(tài)之間存在沖突躲舌，請(qǐng)求無法完成。這個(gè)代碼只允許用在這樣的情況下才能被使用：用戶被認(rèn)為能夠解決沖突性雄，并且會(huì)重新提交新的請(qǐng)求没卸。該響應(yīng)應(yīng)當(dāng)包含足夠的信息以便用戶發(fā)現(xiàn)沖突的源頭。 沖突通常發(fā)生于對(duì) PUT 請(qǐng)求的處理中秒旋。例如约计，在采用版本檢查的環(huán)境下，某次 PUT 提交的對(duì)特定資源的修改請(qǐng)求所附帶的版本信息與之前的某個(gè)（第三方）請(qǐng)求向沖突迁筛，那么此時(shí)服務(wù)器就應(yīng)該返回一個(gè)409錯(cuò)誤煤蚌，告知用戶請(qǐng)求無法完成。此時(shí)细卧，響應(yīng)實(shí)體中很可能會(huì)包含兩個(gè)沖突版本之間的差異比較尉桩，以便用戶重新提交歸并以后的新版本。 |
| 410 | 被請(qǐng)求的資源在服務(wù)器上已經(jīng)不再可用贪庙，而且沒有任何已知的轉(zhuǎn)發(fā)地址蜘犁。這樣的狀況應(yīng)當(dāng)被認(rèn)為是永久性的。如果可能止邮，擁有鏈接編輯功能的客戶端應(yīng)當(dāng)在獲得用戶許可后刪除所有指向這個(gè)地址的引用这橙。如果服務(wù)器不知道或者無法確定這個(gè)狀況是否是永久的，那么就應(yīng)該使用404狀態(tài)碼农尖。除非額外說明析恋，否則這個(gè)響應(yīng)是可緩存的良哲。 410響應(yīng)的目的主要是幫助網(wǎng)站管理員維護(hù)網(wǎng)站盛卡，通知用戶該資源已經(jīng)不再可用，并且服務(wù)器擁有者希望所有指向這個(gè)資源的遠(yuǎn)端連接也被刪除筑凫。這類事件在限時(shí)滑沧、增值服務(wù)中很普遍并村。同樣，410響應(yīng)也被用于通知客戶端在當(dāng)前服務(wù)器站點(diǎn)上滓技，原本屬于某個(gè)個(gè)人的資源已經(jīng)不再可用哩牍。當(dāng)然，是否需要把所有永久不可用的資源標(biāo)記為'410 Gone'令漂，以及是否需要保持此標(biāo)記多長時(shí)間膝昆，完全取決于服務(wù)器擁有者。 |
| 411 | 服務(wù)器拒絕在沒有定義 Content-Length 頭的情況下接受請(qǐng)求叠必。在添加了表明請(qǐng)求消息體長度的有效 Content-Length 頭之后荚孵，客戶端可以再次提交該請(qǐng)求。 |
| 412 | 服務(wù)器在驗(yàn)證在請(qǐng)求的頭字段中給出先決條件時(shí)纬朝，沒能滿足其中的一個(gè)或多個(gè)收叶。這個(gè)狀態(tài)碼允許客戶端在獲取資源時(shí)在請(qǐng)求的元信息（請(qǐng)求頭字段數(shù)據(jù)）中設(shè)置先決條件，以此避免該請(qǐng)求方法被應(yīng)用到其希望的內(nèi)容以外的資源上共苛。 |
| 413 | 服務(wù)器拒絕處理當(dāng)前請(qǐng)求判没，因?yàn)樵撜?qǐng)求提交的實(shí)體數(shù)據(jù)大小超過了服務(wù)器愿意或者能夠處理的范圍。此種情況下隅茎，服務(wù)器可以關(guān)閉連接以免客戶端繼續(xù)發(fā)送此請(qǐng)求澄峰。 如果這個(gè)狀況是臨時(shí)的，服務(wù)器應(yīng)當(dāng)返回一個(gè) Retry-After 的響應(yīng)頭患膛，以告知客戶端可以在多少時(shí)間以后重新嘗試鲸睛。 |
| 414 | 請(qǐng)求的URI 長度超過了服務(wù)器能夠解釋的長度挥等，因此服務(wù)器拒絕對(duì)該請(qǐng)求提供服務(wù)。這比較少見，通常的情況包括： 本應(yīng)使用POST方法的表單提交變成了GET方法撤奸，導(dǎo)致查詢字符串（Query String）過長。 重定向URI “黑洞”枷颊，例如每次重定向把舊的 URI 作為新的 URI 的一部分暇仲，導(dǎo)致在若干次重定向后 URI 超長。 客戶端正在嘗試?yán)媚承┓?wù)器中存在的安全漏洞攻擊服務(wù)器疚漆。這類服務(wù)器使用固定長度的緩沖讀取或操作請(qǐng)求的 URI酣胀，當(dāng) GET 后的參數(shù)超過某個(gè)數(shù)值后，可能會(huì)產(chǎn)生緩沖區(qū)溢出娶聘，導(dǎo)致任意代碼被執(zhí)行[1]闻镶。沒有此類漏洞的服務(wù)器，應(yīng)當(dāng)返回414狀態(tài)碼丸升。 |
| 415 | 對(duì)于當(dāng)前請(qǐng)求的方法和所請(qǐng)求的資源铆农，請(qǐng)求中提交的實(shí)體并不是服務(wù)器中所支持的格式，因此請(qǐng)求被拒絕狡耻。 |
| 416 | 如果請(qǐng)求中包含了 Range 請(qǐng)求頭墩剖，并且 Range 中指定的任何數(shù)據(jù)范圍都與當(dāng)前資源的可用范圍不重合猴凹，同時(shí)請(qǐng)求中又沒有定義 If-Range 請(qǐng)求頭，那么服務(wù)器就應(yīng)當(dāng)返回416狀態(tài)碼岭皂。 假如 Range 使用的是字節(jié)范圍郊霎，那么這種情況就是指請(qǐng)求指定的所有數(shù)據(jù)范圍的首字節(jié)位置都超過了當(dāng)前資源的長度。服務(wù)器也應(yīng)當(dāng)在返回416狀態(tài)碼的同時(shí)爷绘，包含一個(gè) Content-Range 實(shí)體頭书劝，用以指明當(dāng)前資源的長度。這個(gè)響應(yīng)也被禁止使用 multipart/byteranges 作為其 Content-Type土至。 |
| 417 | 在請(qǐng)求頭 Expect 中指定的預(yù)期內(nèi)容無法被服務(wù)器滿足庄撮，或者這個(gè)服務(wù)器是一個(gè)代理服務(wù)器，它有明顯的證據(jù)證明在當(dāng)前路由的下一個(gè)節(jié)點(diǎn)上毙籽，Expect 的內(nèi)容無法被滿足洞斯。 |
| 421 | 從當(dāng)前客戶端所在的IP地址到服務(wù)器的連接數(shù)超過了服務(wù)器許可的最大范圍。通常坑赡，這里的IP地址指的是從服務(wù)器上看到的客戶端地址（比如用戶的網(wǎng)關(guān)或者代理服務(wù)器地址）烙如。在這種情況下，連接數(shù)的計(jì)算可能涉及到不止一個(gè)終端用戶毅否。 |
| 422 | 從當(dāng)前客戶端所在的IP地址到服務(wù)器的連接數(shù)超過了服務(wù)器許可的最大范圍亚铁。通常，這里的IP地址指的是從服務(wù)器上看到的客戶端地址（比如用戶的網(wǎng)關(guān)或者代理服務(wù)器地址）螟加。在這種情況下徘溢，連接數(shù)的計(jì)算可能涉及到不止一個(gè)終端用戶。 |
| 423 | 請(qǐng)求格式正確捆探，但是由于含有語義錯(cuò)誤然爆，無法響應(yīng)。（RFC 4918 WebDAV）423 Locked 當(dāng)前資源被鎖定黍图。（RFC 4918 WebDAV） |
| 424 | 由于之前的某個(gè)請(qǐng)求發(fā)生的錯(cuò)誤曾雕，導(dǎo)致當(dāng)前請(qǐng)求失敗，例如 PROPPATCH助被。（RFC 4918 WebDAV） |
| 425 | 在WebDav Advanced Collections 草案中定義剖张，但是未出現(xiàn)在《WebDAV 順序集協(xié)議》（RFC 3658）中。 |
| 426 | 客戶端應(yīng)當(dāng)切換到TLS/1.0揩环。（RFC 2817） |
| 449 | 由微軟擴(kuò)展搔弄，代表請(qǐng)求應(yīng)當(dāng)在執(zhí)行完適當(dāng)?shù)牟僮骱筮M(jìn)行重試。 |
| 500 | 服務(wù)器遇到了一個(gè)未曾預(yù)料的狀況丰滑，導(dǎo)致了它無法完成對(duì)請(qǐng)求的處理顾犹。一般來說，這個(gè)問題都會(huì)在服務(wù)器的程序碼出錯(cuò)時(shí)出現(xiàn)。 |
| 501 | 服務(wù)器不支持當(dāng)前請(qǐng)求所需要的某個(gè)功能蹦渣。當(dāng)服務(wù)器無法識(shí)別請(qǐng)求的方法，并且無法支持其對(duì)任何資源的請(qǐng)求貌亭。 |
| 502 | 作為網(wǎng)關(guān)或者代理工作的服務(wù)器嘗試執(zhí)行請(qǐng)求時(shí)柬唯，從上游服務(wù)器接收到無效的響應(yīng)。 |
| 503 | 由于臨時(shí)的服務(wù)器維護(hù)或者過載圃庭，服務(wù)器當(dāng)前無法處理請(qǐng)求锄奢。這個(gè)狀況是臨時(shí)的，并且將在一段時(shí)間以后恢復(fù)剧腻。如果能夠預(yù)計(jì)延遲時(shí)間拘央，那么響應(yīng)中可以包含一個(gè) Retry-After 頭用以標(biāo)明這個(gè)延遲時(shí)間。如果沒有給出這個(gè) Retry-After 信息书在，那么客戶端應(yīng)當(dāng)以處理500響應(yīng)的方式處理它灰伟。 注意：503狀態(tài)碼的存在并不意味著服務(wù)器在過載的時(shí)候必須使用它。某些服務(wù)器只不過是希望拒絕客戶端的連接儒旬。 |
| 504 | 作為網(wǎng)關(guān)或者代理工作的服務(wù)器嘗試執(zhí)行請(qǐng)求時(shí)栏账，未能及時(shí)從上游服務(wù)器（URI標(biāo)識(shí)出的服務(wù)器，例如HTTP栈源、FTP挡爵、LDAP）或者輔助服務(wù)器（例如DNS）收到響應(yīng)。 注意：某些代理服務(wù)器在DNS查詢超時(shí)時(shí)會(huì)返回400或者500錯(cuò)誤 |
| 505 | 服務(wù)器不支持甚垦，或者拒絕支持在請(qǐng)求中使用的 HTTP 版本茶鹃。這暗示著服務(wù)器不能或不愿使用與客戶端相同的版本。響應(yīng)中應(yīng)當(dāng)包含一個(gè)描述了為何版本不被支持以及服務(wù)器支持哪些協(xié)議的實(shí)體艰亮。 |
| 506 | 由《透明內(nèi)容協(xié)商協(xié)議》（RFC 2295）擴(kuò)展闭翩，代表服務(wù)器存在內(nèi)部配置錯(cuò)誤：被請(qǐng)求的協(xié)商變?cè)Y源被配置為在透明內(nèi)容協(xié)商中使用自己，因此在一個(gè)協(xié)商處理中不是一個(gè)合適的重點(diǎn)迄埃。 |
| 507 | 服務(wù)器無法存儲(chǔ)完成請(qǐng)求所必須的內(nèi)容男杈。這個(gè)狀況被認(rèn)為是臨時(shí)的。WebDAV (RFC 4918) |
| 509 | 服務(wù)器達(dá)到帶寬限制调俘。這不是一個(gè)官方的狀態(tài)碼伶棒，但是仍被廣泛使用。 |
| 510 | 獲取資源所需要的策略并沒有沒滿足彩库。（RFC 2774） |
2.4 網(wǎng)絡(luò)數(shù)據(jù)抓取
進(jìn)行網(wǎng)絡(luò)爬蟲程序開發(fā)之前肤无，首先針對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行定位分析非常重要，對(duì)于網(wǎng)絡(luò)數(shù)據(jù)的定位處理通常使用抓包工具進(jìn)行操作骇钦，常用的抓包工具如瀏覽器F12工具宛渐、Fiddler、wireshark等等，在爬蟲處理過程中窥翩，使用較多的是F12網(wǎng)絡(luò)工具和Fiddler业岁。
