Python爬蟲實戰(zhàn)入門二:從一個簡單的HTTP請求開始

一佃扼、為什么從HTTP請求開始

無論我們通過瀏覽器打開網(wǎng)站激涤、訪問網(wǎng)頁衷蜓,還是通過腳本對URL網(wǎng)址進行訪問累提,本質上都是對HTTP服務器的請求,瀏覽器上所呈現(xiàn)的磁浇、控制臺所顯示的都是HTTP服務器對我們請求的響應斋陪。

以打開網(wǎng)站為例,瀏覽器上呈現(xiàn)的是下圖:

我們按F12打開網(wǎng)頁調(diào)試工具置吓,選擇“network”選項卡无虚,可以看到我們對zmister.com的請求,以及zmister.com給我們的響應:

請求與響應

響應消息主體

二衍锚、基本的HTTP概念

通常HTTP消息包括客戶機向服務器的請求消息和服務器向客戶機的響應消息友题。這兩種類型的消息由一個起始行,一個或者多個頭域戴质,一個指示頭域結束的空行和可選的消息體組成度宦。

我們看上面對zmister.com的HTTP示例來說明:

1、HTTP概覽

Request URl:表示請求的URL

Request Method:表示請求的方法置森,此處為GET斗埂。除此之外,HTTP的請求方法還有OPTION凫海、HEAD呛凶、POST、DELETE行贪、PUT等漾稀,而最常用的就是GET和POST方法:

POST:

向指定資源提交數(shù)據(jù),請求服務器進行處理(例如提交表單或者上傳文件)建瘫。數(shù)據(jù)被包含在請求本文中崭捍。這個請求可能會創(chuàng)建新的資源或修改現(xiàn)有資源,或二者皆有啰脚。

GET:

向指定的資源發(fā)出“顯示”請求殷蛇。

Status Code:顯示HTTP請求和狀態(tài)碼实夹,表示HTTP請求的狀態(tài),此處為200粒梦,表示請求已被服務器接收亮航、理解和處理;

狀態(tài)代碼的第一個數(shù)字代表當前響應的類型匀们,HTTP協(xié)議中有以下幾種響應類型:

1xx消息——請求已被服務器接收缴淋,繼續(xù)處理

2xx成功——請求已成功被服務器接收、理解泄朴、并接受

3xx重定向——需要后續(xù)操作才能完成這一請求

4xx請求錯誤——請求含有詞法錯誤或者無法被執(zhí)行

5xx服務器錯誤——服務器在處理某個正確請求時發(fā)生錯誤

2重抖、HTTP請求頭

Accept:表示請求的資源類型;

Cookie:為了辨別用戶身份、進行 session 跟蹤而儲存在用戶本地終端上的數(shù)據(jù);

User-Agent:表示瀏覽器標識;

Accept-Language:表示瀏覽器所支持的語言類型祖灰;

Accept-Charset:告訴 Web 服務器钟沛,瀏覽器可以接受哪些字符編碼;

Accept:表示瀏覽器支持的 MIME 類型夫植;

Accept-Encoding:表示瀏覽器有能力解碼的編碼類型讹剔;

Connection:表示客戶端與服務連接類型;

基本的HTTP介紹就結束了详民,如果需要更加詳細的HTTP知識延欠,推薦一本HTTP入門書《圖解HTTP》

下面,我們用Python來實現(xiàn)一個簡單的HTTP請求

三沈跨、用Python進行HTTP請求

在學習中有迷茫不知如何學習的朋友小編推薦一個學Python的學習裙[663033228]無論你是大牛還是小白由捎,是想轉行還是想入行都可以來了解一起進步一起學習!裙內(nèi)有開發(fā)工具饿凛,很多干貨和技術資料分享狞玛!

這里繼續(xù)用網(wǎng)站http://zmmister.com 作示例

打開代碼編輯器,輸入以下代碼:

#coding:utf-8

import requests

url = "http://bxu2713810459.my3w.com"

data = requests.get(url)

這樣涧窒,就完成了一個簡單的對zmister.com的HTTP請求心肪。

我們看看這個請求的狀態(tài)碼:

data.status_code

結果返回的是:200

再看看響應的主體消息:

data.content

結果返回了一大串編碼了的HTML源碼,這些HTML源碼未經(jīng)解碼和解析纠吴,看上起很是凌亂

對這些凌亂的html源碼進行處理硬鞍,就需要使用到BeautifulSoup模塊了,下一章咱們繼續(xù)戴已。

?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末固该,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子糖儡,更是在濱河造成了極大的恐慌伐坏,老刑警劉巖,帶你破解...
    沈念sama閱讀 217,084評論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件握联,死亡現(xiàn)場離奇詭異桦沉,居然都是意外死亡每瞒,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,623評論 3 392
  • 文/潘曉璐 我一進店門永部,熙熙樓的掌柜王于貴愁眉苦臉地迎上來独泞,“玉大人,你說我怎么就攤上這事苔埋。” “怎么了蜒犯?”我有些...
    開封第一講書人閱讀 163,450評論 0 353
  • 文/不壞的土叔 我叫張陵组橄,是天一觀的道長。 經(jīng)常有香客問我罚随,道長玉工,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,322評論 1 293
  • 正文 為了忘掉前任淘菩,我火速辦了婚禮遵班,結果婚禮上,老公的妹妹穿的比我還像新娘潮改。我一直安慰自己狭郑,他們只是感情好,可當我...
    茶點故事閱讀 67,370評論 6 390
  • 文/花漫 我一把揭開白布汇在。 她就那樣靜靜地躺著翰萨,像睡著了一般。 火紅的嫁衣襯著肌膚如雪糕殉。 梳的紋絲不亂的頭發(fā)上亩鬼,一...
    開封第一講書人閱讀 51,274評論 1 300
  • 那天,我揣著相機與錄音阿蝶,去河邊找鬼雳锋。 笑死,一個胖子當著我的面吹牛羡洁,可吹牛的內(nèi)容都是我干的玷过。 我是一名探鬼主播,決...
    沈念sama閱讀 40,126評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼焚廊,長吁一口氣:“原來是場噩夢啊……” “哼冶匹!你這毒婦竟也來了?” 一聲冷哼從身側響起咆瘟,我...
    開封第一講書人閱讀 38,980評論 0 275
  • 序言:老撾萬榮一對情侶失蹤嚼隘,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后袒餐,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體飞蛹,經(jīng)...
    沈念sama閱讀 45,414評論 1 313
  • 正文 獨居荒郊野嶺守林人離奇死亡谤狡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,599評論 3 334
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了卧檐。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片墓懂。...
    茶點故事閱讀 39,773評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖霉囚,靈堂內(nèi)的尸體忽然破棺而出捕仔,到底是詐尸還是另有隱情,我是刑警寧澤盈罐,帶...
    沈念sama閱讀 35,470評論 5 344
  • 正文 年R本政府宣布榜跌,位于F島的核電站,受9級特大地震影響盅粪,放射性物質發(fā)生泄漏钓葫。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,080評論 3 327
  • 文/蒙蒙 一票顾、第九天 我趴在偏房一處隱蔽的房頂上張望础浮。 院中可真熱鬧,春花似錦奠骄、人聲如沸豆同。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,713評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽诱告。三九已至,卻和暖如春民晒,著一層夾襖步出監(jiān)牢的瞬間精居,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,852評論 1 269
  • 我被黑心中介騙來泰國打工潜必, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留靴姿,地道東北人。 一個月前我還...
    沈念sama閱讀 47,865評論 2 370
  • 正文 我出身青樓磁滚,卻偏偏與公主長得像佛吓,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子垂攘,可洞房花燭夜當晚...
    茶點故事閱讀 44,689評論 2 354

推薦閱讀更多精彩內(nèi)容