C.Python爬蟲基礎(chǔ)之HTTP協(xié)議

HTTP協(xié)議,.即超文本傳輸協(xié)議(HyperText Transfer Protocol)豪娜,是一種規(guī)定了瀏覽器和萬維網(wǎng)服務(wù)器之間互相通信的規(guī)則猜谚。設(shè)計(jì)HTTP最初目的是為了提供發(fā)布和接收HTML頁面的方法雕薪。

HTTP工作原理

采用了請求Request/響應(yīng)Response模式:

  • 客戶端向服務(wù)器發(fā)送一個(gè)請求報(bào)文曙博,請求報(bào)文包含請求的方法、URL抹竹、協(xié)議版本线罕、請求頭部和請求數(shù)據(jù);
  • 服務(wù)器以一個(gè)狀態(tài)行作為響應(yīng)窃判,響應(yīng)報(bào)文內(nèi)容包括協(xié)議的版本钞楼、連接狀態(tài)、服務(wù)其信息袄琳、響應(yīng)頭部和響應(yīng)數(shù)據(jù)询件。
    報(bào)文格式來源網(wǎng)絡(luò)

在瀏覽器地址欄鍵入U(xiǎn)RL后,按回車會經(jīng)歷以下流程:
1唆樊、瀏覽器向DNS服務(wù)其請求解析URL中域名所對應(yīng)的IP地址宛琅;
2、解析出IP地址后窗轩,根據(jù)該IP地址和默認(rèn)端口80,和服務(wù)器建立TCP連接座咆;
3痢艺、瀏覽器發(fā)出讀取文件的HTTP請求,該請求報(bào)文作為TCP三次握手的第三個(gè)報(bào)文的數(shù)據(jù)發(fā)送給服務(wù)器介陶;
4堤舒、服務(wù)器對瀏覽器請求作出響應(yīng),并把對應(yīng)html文本發(fā)送給瀏覽器哺呜;
5舌缤、釋放TCP連接;
6、瀏覽器將該html文本并顯示內(nèi)容国撵。

HTTP協(xié)議常見請求方法

  • GET 要求將URL定位的資源放在響應(yīng)報(bào)文的數(shù)據(jù)部分陵吸,回送給客戶端。使用GET方法時(shí)介牙,請求參數(shù)和值附加在URL后面壮虫,利用一個(gè)問號(“?”)代表URL結(jié)尾與請求參數(shù)的開始环础,傳遞參數(shù)長度受限制囚似;

  • HEAD 與GET方法一樣,都是向服務(wù)器發(fā)出指定資源的請求线得。該方法不必傳輸全部內(nèi)容饶唤,就可以獲取其中“關(guān)于該資源的信息”元數(shù)據(jù);

  • POST 向指定資源提交數(shù)據(jù)贯钩,請求服務(wù)器進(jìn)行處理(例如提交表單或上傳文件)募狂。數(shù)據(jù)被包含在請求中,請求可能回創(chuàng)建新的資源或修改現(xiàn)有資源魏保,以名稱/值形式出現(xiàn)熬尺;

  • PUT 向指定資源未知上傳器最新內(nèi)容;

  • DELETE 請求服務(wù)其刪除Request-URI所標(biāo)識的資源谓罗;

  • TRACE 回顯服務(wù)器收到的請求粱哼,主要用于測試或診斷;

  • CONNECT 通常用于SSL加密服務(wù)的鏈接檩咱;

  • OPTIONS 可使服務(wù)器傳回該資源所支持的所有HTTP請求方法揭措,用“*”表示資源名稱,向Web服務(wù)器發(fā)送OPTIONS請求刻蚯,可測試服務(wù)器功能是否正常運(yùn)作绊含。

HTTP協(xié)議響應(yīng)狀態(tài)碼

100 Continue
200 OK 請求成功(其后是對GET和POST請求的應(yīng)答文檔)炊汹;
305 Use Proxy 客戶請求的文檔應(yīng)通過Location頭所指明的代理服務(wù)器提裙洹;
400 Bad Request 服務(wù)器未能理解請求讨便;
404 Not Found 服務(wù)器無法找到請求頁面充甚;
500 Internal Server Error 請求未完成。服務(wù)器遇到不可預(yù)知的情況霸褒。

HTTP協(xié)議與HTTPS協(xié)議區(qū)別

  • HTTPS協(xié)議需要拿到CA證書伴找,一般免費(fèi)證書較少,需要交費(fèi)废菱;
  • HTTP協(xié)議運(yùn)行在TCP之上技矮,所有傳輸內(nèi)容都是銘文抖誉,HTTPS運(yùn)輸在SSL/TLS之上,所有傳輸?shù)膬?nèi)容都濟(jì)公加密衰倦;
  • HTTP默認(rèn)端口80袒炉、HTTPS默認(rèn)端口443;
  • HTTPS可以有效防止運(yùn)營商劫持耿币。

TCP/IP四層模型

  • 數(shù)據(jù)鏈路層(主機(jī)-網(wǎng)絡(luò)層)物理傳輸通道梳杏,可使用多種傳輸介質(zhì)傳輸,可建立在任何物理傳輸網(wǎng)上淹接,如光纖十性、雙絞線。

  • 網(wǎng)絡(luò)層:負(fù)責(zé)提供基本的數(shù)據(jù)封包(Packet)傳送功能塑悼,讓每一塊數(shù)據(jù)包都能夠到達(dá)目的主機(jī)(但不檢查是否被正確接收)劲适,如網(wǎng)際協(xié)議(IP)。

  • 傳輸層:主要任務(wù)是向上一層提供可信的端到端(End-to-End)服務(wù)厢蒜,確毕际疲“報(bào)文”無差錯(cuò)、有序斑鸦、不丟失愕贡、無重復(fù)地傳輸。如傳輸控制協(xié)議(TCP)巷屿、用戶數(shù)據(jù)報(bào)協(xié)議(UDP)等固以。這一層向高層屏蔽了下層數(shù)據(jù)通信的細(xì)節(jié),是計(jì)算機(jī)通信最關(guān)鍵的一層嘱巾。

  • 應(yīng)用層確定進(jìn)程間通信的性質(zhì)憨琳,滿足用戶的需求。如簡單電子郵件傳輸(SMTP)旬昭、文件傳輸協(xié)議(FTP)篙螟、網(wǎng)絡(luò)遠(yuǎn)程訪問協(xié)議(Telnet)、超文本傳輸協(xié)議HTTP等问拘。

好處是:在分層體系機(jī)構(gòu)中遍略,各層之間是完全獨(dú)立的,編程只需要關(guān)注應(yīng)用層骤坐,而不需用考慮底層的編寫及傳輸規(guī)則绪杏。


積累、探索或油,做到每天突破一點(diǎn)點(diǎn)寞忿!不焦慮驰唬、不浮躁顶岸,奧里給腔彰!小野s

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市辖佣,隨后出現(xiàn)的幾起案子霹抛,更是在濱河造成了極大的恐慌,老刑警劉巖卷谈,帶你破解...
    沈念sama閱讀 206,839評論 6 482
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件杯拐,死亡現(xiàn)場離奇詭異,居然都是意外死亡世蔗,警方通過查閱死者的電腦和手機(jī)端逼,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,543評論 2 382
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來污淋,“玉大人顶滩,你說我怎么就攤上這事〈绫” “怎么了礁鲁?”我有些...
    開封第一講書人閱讀 153,116評論 0 344
  • 文/不壞的土叔 我叫張陵,是天一觀的道長赁豆。 經(jīng)常有香客問我仅醇,道長,這世上最難降的妖魔是什么魔种? 我笑而不...
    開封第一講書人閱讀 55,371評論 1 279
  • 正文 為了忘掉前任析二,我火速辦了婚禮,結(jié)果婚禮上务嫡,老公的妹妹穿的比我還像新娘甲抖。我一直安慰自己,他們只是感情好心铃,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,384評論 5 374
  • 文/花漫 我一把揭開白布准谚。 她就那樣靜靜地躺著,像睡著了一般去扣。 火紅的嫁衣襯著肌膚如雪柱衔。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,111評論 1 285
  • 那天愉棱,我揣著相機(jī)與錄音唆铐,去河邊找鬼。 笑死奔滑,一個(gè)胖子當(dāng)著我的面吹牛艾岂,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播朋其,決...
    沈念sama閱讀 38,416評論 3 400
  • 文/蒼蘭香墨 我猛地睜開眼王浴,長吁一口氣:“原來是場噩夢啊……” “哼脆炎!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起氓辣,我...
    開封第一講書人閱讀 37,053評論 0 259
  • 序言:老撾萬榮一對情侶失蹤秒裕,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后钞啸,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體几蜻,經(jīng)...
    沈念sama閱讀 43,558評論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,007評論 2 325
  • 正文 我和宋清朗相戀三年体斩,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了梭稚。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,117評論 1 334
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡絮吵,死狀恐怖哨毁,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情源武,我是刑警寧澤扼褪,帶...
    沈念sama閱讀 33,756評論 4 324
  • 正文 年R本政府宣布,位于F島的核電站粱栖,受9級特大地震影響话浇,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜闹究,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,324評論 3 307
  • 文/蒙蒙 一幔崖、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧渣淤,春花似錦赏寇、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,315評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至用踩,卻和暖如春渠退,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背脐彩。 一陣腳步聲響...
    開封第一講書人閱讀 31,539評論 1 262
  • 我被黑心中介騙來泰國打工碎乃, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人惠奸。 一個(gè)月前我還...
    沈念sama閱讀 45,578評論 2 355
  • 正文 我出身青樓梅誓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個(gè)殘疾皇子梗掰,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,877評論 2 345

推薦閱讀更多精彩內(nèi)容

  • Web 頁面的實(shí)現(xiàn) Web 基于 HTTP 協(xié)議通信 客戶端(Client)的 Web 瀏覽器從 Web 服務(wù)器端...
    毛圈閱讀 1,072評論 0 2
  • 本文整理自MIN飛翔博客 [1] 1. 概念 協(xié)議是指計(jì)算機(jī)通信網(wǎng)絡(luò)中兩臺計(jì)算機(jī)之間進(jìn)行通信所必須共同遵守的規(guī)定或...
    HoyaWhite閱讀 2,640評論 2 20
  • 1.TCP報(bào)頭格式 UDP報(bào)頭格式 TCP報(bào)頭格式 UDP報(bào)頭格式 具體的各部分解釋看 TCP報(bào)文格式詳解 - ...
    杰倫哎呦哎呦閱讀 2,434評論 0 5
  • http協(xié)議有http0.9删豺,http1.0,http1.1和http2三個(gè)版本愧怜,但是現(xiàn)在瀏覽器使用的是htt...
    一現(xiàn)_閱讀 1,855評論 0 3
  • 職業(yè)畫布: 已經(jīng)有、可以有的優(yōu)勢妈拌。 自我認(rèn)識和自我實(shí)現(xiàn) 該去什么樣的公司拥坛、做什么樣的事情、拿多少錢尘分,都取決于一個(gè)問...
    CoderCurtis閱讀 267評論 0 0