01 認識爬蟲

01 認識爬蟲

一窝爪、HTTP與HTTPS

1、應(yīng)用框架

互聯(lián)網(wǎng)的飛速發(fā)展是商業(yè)經(jīng)濟推動的蛉鹿。目前幾乎所有的商業(yè)應(yīng)用都是基于互聯(lián)網(wǎng)的滨砍，它們一般采用c/s架構(gòu)，b/s架構(gòu)或者m/s架構(gòu)。
c/s 即 client server 客戶端 服務(wù)端
b/s 即 browser server 瀏覽器 服務(wù)端
m/s 即 moblie server 移動端 服務(wù)端

2惋戏、http協(xié)議

目前互連網(wǎng)上90%的網(wǎng)絡(luò)傳輸都是基于http協(xié)議领追。

HTTP是Hyper Text Transfer Protocol（超文本傳輸協(xié)議）的縮寫，是用于從萬維網(wǎng)（WWW:World Wide Web ）服務(wù)器傳輸超文本到本地瀏覽器的傳送協(xié)議响逢。

HTTP是一個基于TCP/IP通信協(xié)議來傳遞數(shù)據(jù)（HTML 文件, 圖片文件, 查詢結(jié)果等）

3绒窑、http請求流程

一次http請求的基本流程是，有客戶端向服務(wù)端發(fā)起一次請求(request), 而服務(wù)器在接收到以后返回給客戶端一個響應(yīng)（response）舔亭。所以一次完整的http請求包含請求和響應(yīng)兩部分回论。

默認的http協(xié)議端口為80端口。

4分歇、url

發(fā)送http請求時，通過url對網(wǎng)絡(luò)資源進行定位欧漱。

URL（Uniform Resource Locator）职抡，中文叫統(tǒng)一資源定位符。是用來標識某一處資源的地址误甚。也即是我們常說的網(wǎng)址缚甩。以下面這個URL為例，介紹下普通URL的各部分組成：

01.jpg

4窑邦、HTTP請求格式

http請求
客戶端發(fā)送一個HTTP請求到服務(wù)器的請求消息包括以下部分：請求行擅威，請求頭，空行和請求數(shù)據(jù)冈钦。

下圖給出請求報文的一般格式郊丛。

02.jpg

5、HTTP請求方法

根據(jù)http標準瞧筛，http請求可以使用多種請求方法厉熟。

1.0定義了三種請求方法：GET，POST和HEAD方法

1.1新增了五種請求方法：OPTIONS较幌，PUT揍瑟，DELETE，TRACE和CONNECT方法乍炉。

常用方法 是 get和post绢片。

  • GET

    其實簡單來說，GET方法一般用來負責獲取數(shù)據(jù)岛琼，或者將一些簡短的數(shù)據(jù)放到URL參數(shù)中傳遞到服務(wù)器底循。比POST更加高效和方便。

  • POST

    由于GET方法最多在url中攜帶1024字節(jié)數(shù)據(jù)衷恭，且將數(shù)據(jù)放到URL中傳遞太不安全此叠，數(shù)據(jù)量大時URL也會變得冗長。所以傳遞數(shù)據(jù)量大或者安全性要求高的數(shù)據(jù)的時候，最好使用POST方法來傳遞數(shù)據(jù)灭袁。

03.jpg

5猬错、HTTP請求頭

04.jpg
05.jpg
06.jpg

6、HTTP請求正文

請求正文通常是使用POST方法進行發(fā)送的數(shù)據(jù)茸歧，GET方法是沒有請求正文的倦炒。
請求正文跟上面的消息報頭由一個空行隔開。

7软瞎、HTTP響應(yīng)

HTTP響應(yīng)也由四個部分組成逢唤，分別是：狀態(tài)行、消息報頭涤浇、空行和響應(yīng)正文鳖藕。

07.jpg

8、HTTP響應(yīng)狀態(tài)碼

當客戶端向服務(wù)端發(fā)起一次請求后只锭，服務(wù)端在返回的響應(yīng)頭中會包含一個HTTP狀態(tài)碼著恩。
HTTP的狀態(tài)碼是由三位數(shù)字來表示的，由第一位數(shù)字來表示狀態(tài)碼的類型蜻展，一般來說有五種類型：

08.jpg

9喉誊、HTTP響應(yīng)報頭

09.jpg

10、HTTP協(xié)議的特點

HTTP三點注意事項：

  • HTTP是無連接：無連接的含義是限制每次連接只處理一個請求纵顾。服務(wù)器處理完客戶的請求伍茄，并收到客戶的應(yīng)答后，即斷開連接施逾。采用這種方式可以節(jié)省傳輸時間敷矫。

  • HTTP是媒體獨立的：這意味著，只要客戶端和服務(wù)器知道如何處理的數(shù)據(jù)內(nèi)容音念，任何類型的數(shù)據(jù)都可以通過HTTP發(fā)送沪饺。客戶端以及服務(wù)器指定使用適合的MIME-type內(nèi)容類型闷愤。

  • HTTP是無狀態(tài)：HTTP協(xié)議是無狀態(tài)協(xié)議整葡。無狀態(tài)是指協(xié)議對于事務(wù)處理沒有記憶能力。缺少狀態(tài)意味著如果后續(xù)處理需要前面的信息讥脐，則它必須重傳遭居，這樣可能導(dǎo)致每次連接傳送的數(shù)據(jù)量增大。另一方面旬渠，在服務(wù)器不需要先前信息時它的應(yīng)答就較快俱萍。

11、HTTPS協(xié)議

HTTPS（全稱：Hyper Text Transfer Protocol over Secure Socket Layer 或 Hypertext Transfer Protocol Secure告丢，超文本傳輸安全協(xié)議）枪蘑，是以安全為目標的HTTP通道，簡單講是HTTP的安全版

http協(xié)議是基于tcp/ip協(xié)議的，而https是在http協(xié)議的基礎(chǔ)之上岳颇，再加了一層SSL/TLS協(xié)議照捡，數(shù)據(jù)在傳輸過程中是加密的。

HTTPS協(xié)議的默認端口是443

二话侧、爬蟲概念

1栗精、爬蟲的概念和應(yīng)用

網(wǎng)絡(luò)爬蟲也叫網(wǎng)絡(luò)蜘蛛，它特指一類自動批量下載網(wǎng)絡(luò)資源的程序瞻鹏，這是一個比較口語化的定義悲立。
更加專業(yè)和全面對的定義是：網(wǎng)絡(luò)爬蟲是偽裝成客戶端與服務(wù)端進行數(shù)據(jù)交互的程序。

  1. 數(shù)據(jù)采集
    大數(shù)據(jù)時代來臨新博，數(shù)據(jù)就是核心薪夕，數(shù)據(jù)就是生產(chǎn)力，越來越多的企業(yè)開始注重收集用戶數(shù)據(jù)赫悄，而爬蟲技術(shù)是收集數(shù)據(jù)的一種重要手段寥殖。
  2. 搜索引擎
    百度，谷歌等搜索引擎都是基于爬蟲技術(shù)涩蜘。
  3. 模擬操作
    爬蟲也被廣泛用于模擬用戶操作，測試機器人熏纯，灌水機器人等同诫。

2、爬蟲開發(fā)的重難點

  1. 數(shù)據(jù)的獲取
    網(wǎng)絡(luò)公共資源都是為用戶準備的樟澜，為了避免被爬蟲采集误窖，服務(wù)端會設(shè)置非常多的圖靈測試，阻止爬蟲的惡意爬取秩贰，也即是反爬措施霹俺。爬蟲開發(fā)工程師在開發(fā)爬蟲時，需要解決這些反爬措施毒费。我們在開發(fā)爬蟲的過程中丙唧，有很大一部分的工作就是處理這些反爬措施。
  2. 采集的速度
    大數(shù)據(jù)時代觅玻，需要巨大的數(shù)據(jù)量想际，動輒千萬條的級別，甚至上億條。如果采集速度跟不上，耗時過長砰盐，那么就達不到商業(yè)要求涤躲。一般我們會采取并發(fā)以及分布式來解決速度上的問題。這也是爬蟲開發(fā)過程中的另外一個重心喜鼓。

3堂油、爬蟲基礎(chǔ)socket模塊

1）創(chuàng)建服務(wù)端

# 導(dǎo)入socket模塊
import socket

#創(chuàng)建服務(wù)端

server = socket.socket()

#綁定ip地址及端口號
server.bind(("127.0.0.1",8080))

#開始監(jiān)聽
server.listen(5) #設(shè)置為最多同時接收5個請求

print('等待客戶端的連接...')
tcpCliSock, addr = server.accept()   #接收客戶端連接請求
print('取得連接:', addr)
data = tcpCliSock.recv(1024)
print(data)
tcpCliSock.close()  #關(guān)閉與客戶端的連接
server.close()  #關(guān)閉服務(wù)器socket

# 等待客戶端的連接...
# 取得連接: ('127.0.0.1', 2074)
# b'GET / HTTP/1.1\r\nHost: 127.0.0.1:8080\r\nConnection: keep-alive\r\nUpgrade-Insecure-Requests: 1\r\nUser-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36\r\nAccept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8\r\nAccept-Encoding: gzip, deflate, br\r\nAccept-Language: zh-CN,zh;q=0.9\r\n\r\n'

2）創(chuàng)建客戶端

# 導(dǎo)入socket模塊
import socket

# 創(chuàng)建客戶端
client = socket.socket()

# 連接百度服務(wù)器
client.connect(("www.baidu.com",80))

# 構(gòu)建HTTP報文
request = b"GET / HTTP/1.0\r\nHost: www.baidu.com\r\n\r\n"

# 發(fā)送請求
client.send(request)

# 接收響應(yīng)數(shù)據(jù)
res =b""
data = client.recv(4096)
while data:
    res += data
    data = client.recv(4096)
    # print(res)
print(res.decode())

3）使用socket下載圖片

# 導(dǎo)入socket模塊
import socket,re

# 創(chuàng)建客戶端
client = socket.socket()

# 圖片地址
img_url = "http://i0.hdslb.com/bfs/archive/c6dad696f6c0aebff97f30a5f8c63f9ed09bcac8.jpg"
# 連接服務(wù)器
client.connect(("i0.hdslb.com",80))

# 構(gòu)建HTTP報文
request = b"GET /bfs/archive/c6dad696f6c0aebff97f30a5f8c63f9ed09bcac8.jpg HTTP/1.0\r\nHost: i0.hdslb.com\r\n\r\n"

# 發(fā)送請求
client.send(request)

# 接收響應(yīng)數(shù)據(jù)
res =b""
data = client.recv(4096)
while data:
    res += data
    data = client.recv(4096)
client.close()
print(res)
img_data = re.findall(b"\r\n\r\n(.*)",res,re.S)[0]
img_data = img_data.strip()
print(img_data)
with open("ez.jpg","wb") as f:
    f.write(img_data)

三惯退、會話技術(shù)

1披粟、Cookie

http是無狀態(tài)的咒锻，那服務(wù)端怎么區(qū)分同一個用戶的連續(xù)請求呢，這就用到了會話技術(shù)：cookie和session僻爽。

Cookie有時也用其復(fù)數(shù)形式 Cookies虫碉，英文是餅干的意思。指某些網(wǎng)站為了辨別用戶身份胸梆、進行 session 跟蹤而儲存在用戶本地終端上的數(shù)據(jù)（通常經(jīng)過加密）敦捧。最新的規(guī)范是 RFC6265 。

Cookie其實就是由服務(wù)器發(fā)給客戶端的特殊信息碰镜，而這些信息以文本文件的方式存放在客戶端兢卵，然后客戶端每次向服務(wù)器發(fā)送請求的時候都會帶上這些特殊的信息。 服務(wù)器在接收到Cookie以后绪颖，會驗證Cookie的信息秽荤，以此來辨別用戶的身份。

Cookie可以理解為一個憑證柠横。

2窃款、Session

Session，中文經(jīng)常翻譯為會話牍氛，其本來的含義是指有始有終的一系列動作/消息晨继，比如打電話時從拿起電話撥號到掛斷電話這中間的一系列過程可以稱之為一個session。這個詞在各個領(lǐng)域都有在使用搬俊。

而我們web領(lǐng)域紊扬，一般使用的是其本義，一個瀏覽器窗口從打開到關(guān)閉這個期間唉擂。

Session的目的則是餐屎，在一個客戶從打開瀏覽器到關(guān)閉瀏覽器這個期間內(nèi)，發(fā)起的所有請求都可以被識別為同一個用戶玩祟。而實現(xiàn)的方式則是腹缩，在一個客戶打開瀏覽器開始訪問網(wǎng)站的時候，會生成一個cookie空扎，SessionID庆聘，這個ID每次的訪問都會帶上，而服務(wù)器會識別這個SessionID并且將與這個SessionID有關(guān)的數(shù)據(jù)保存在服務(wù)器上勺卢。由此來實現(xiàn)客戶端的狀態(tài)識別伙判。因此session是基于cookie的

Session與Cookie相反，Session是存儲在服務(wù)器上的數(shù)據(jù)黑忱，只由客戶端傳上來的SessionId來進行判定宴抚，所以相對于Cookie勒魔，Session的安全性更高。

一般SessionID會在瀏覽器被關(guān)閉時丟棄菇曲，或者服務(wù)器會驗證Session的活躍程度冠绢，例如30分鐘某一個SessionID都沒有活躍，那么也會被識別為失效常潮。

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 人面猴
    序言：七十年代末弟胀，一起剝皮案震驚了整個濱河市，隨后出現(xiàn)的幾起案子喊式，更是在濱河造成了極大的恐慌孵户，老刑警劉巖，帶你破解...
    沈念sama閱讀 217,542評論 6贊 504
  • 死咒
    序言：濱河連續(xù)發(fā)生了三起死亡事件岔留，死亡現(xiàn)場離奇詭異夏哭，居然都是意外死亡，警方通過查閱死者的電腦和手機献联，發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,822評論 3贊 394
  • 救了他兩次的神仙讓他今天三更去死
    文/潘曉璐 我一進店門竖配，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人里逆，你說我怎么就攤上這事进胯。” “怎么了原押？”我有些...
    開封第一講書人閱讀 163,912評論 0贊 354
  • 道士緝兇錄：失蹤的賣姜人
    文/不壞的土叔 我叫張陵龄减，是天一觀的道長。 經(jīng)常有香客問我班眯，道長，這世上最難降的妖魔是什么烁巫？ 我笑而不...
    開封第一講書人閱讀 58,449評論 1贊 293
  • ?港島之戀（遺憾婚禮）
    正文 為了忘掉前任署隘，我火速辦了婚禮，結(jié)果婚禮上亚隙，老公的妹妹穿的比我還像新娘磁餐。我一直安慰自己，他們只是感情好阿弃，可當我...
    茶點故事閱讀 67,500評論 6贊 392
  • 惡毒庶女頂嫁案：這布局不是一般人想出來的
    文/花漫 我一把揭開白布诊霹。 她就那樣靜靜地躺著，像睡著了一般渣淳。 火紅的嫁衣襯著肌膚如雪脾还。 梳的紋絲不亂的頭發(fā)上，一...
    開封第一講書人閱讀 51,370評論 1贊 302
  • 城市分裂傳說
    那天入愧，我揣著相機與錄音鄙漏，去河邊找鬼嗤谚。 笑死，一個胖子當著我的面吹牛怔蚌，可吹牛的內(nèi)容都是我干的巩步。 我是一名探鬼主播，決...
    沈念sama閱讀 40,193評論 3贊 418
  • 雙鴛鴦連環(huán)套：你想象不到人心有多黑
    文/蒼蘭香墨 我猛地睜開眼桦踊，長吁一口氣：“原來是場噩夢啊……” “哼椅野！你這毒婦竟也來了？” 一聲冷哼從身側(cè)響起籍胯，我...
    開封第一講書人閱讀 39,074評論 0贊 276
  • 萬榮殺人案實錄
    序言：老撾萬榮一對情侶失蹤竟闪，失蹤者是張志新（化名）和其女友劉穎，沒想到半個月后芒炼，有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體瘫怜，經(jīng)...
    沈念sama閱讀 45,505評論 1贊 314
  • ?護林員之死
    正文 獨居荒郊野嶺守林人離奇死亡，尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,722評論 3贊 335
  • ?白月光啟示錄
    正文 我和宋清朗相戀三年本刽，在試婚紗的時候發(fā)現(xiàn)自己被綠了鲸湃。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,841評論 1贊 348
  • 活死人
    序言：一個原本活蹦亂跳的男人離奇死亡子寓，死狀恐怖暗挑，靈堂內(nèi)的尸體忽然破棺而出，到底是詐尸還是另有隱情斜友，我是刑警寧澤炸裆，帶...
    沈念sama閱讀 35,569評論 5贊 345
  • ?日本核電站爆炸內(nèi)幕
    正文 年R本政府宣布，位于F島的核電站鲜屏，受9級特大地震影響烹看，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜洛史，卻給世界環(huán)境...
    茶點故事閱讀 41,168評論 3贊 328
  • 男人毒藥：我在死后第九天來索命
    文/蒙蒙 一惯殊、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧也殖，春花似錦土思、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,783評論 0贊 22
  • 一樁弒父案己儒，背后竟有這般陰謀
    文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至捆毫，卻和暖如春闪湾，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背绩卤。 一陣腳步聲響...
    開封第一講書人閱讀 32,918評論 1贊 269
  • 情欲美人皮
    我被黑心中介騙來泰國打工响谓， 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留损合，地道東北人。 一個月前我還...
    沈念sama閱讀 47,962評論 2贊 370
  • 代替公主和親
    正文 我出身青樓娘纷，卻偏偏與公主長得像嫁审，于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子赖晶，可洞房花燭夜當晚...
    茶點故事閱讀 44,781評論 2贊 354