當(dāng)自己需要數(shù)據(jù)的時(shí)候，能夠分分鐘就能獲得匕坯，是不是一件很爽的事情。為了獲得自己想要的數(shù)據(jù)拔稳，我們有必要弄懂爬蟲(chóng)原理葛峻。經(jīng)常用百度搜索的筒子們，有沒(méi)有想過(guò)當(dāng)你輸入百度地址時(shí)候巴比，網(wǎng)絡(luò)那邊都發(fā)生了什么术奖，本章講一下網(wǎng)絡(luò)連接原理和爬蟲(chóng)原理。
網(wǎng)絡(luò)連接原理如下圖：
打個(gè)比方：網(wǎng)絡(luò)連接像是在自助飲料售貨機(jī)上購(gòu)買飲料一樣：購(gòu)買者只需選擇所需飲料轻绞，投入刷二維碼采记，自助飲料機(jī)就會(huì)彈出相應(yīng)的商品。如上圖政勃，計(jì)算機(jī)（購(gòu)買者）帶著請(qǐng)求頭和消息體（錢(qián)和所需飲料）向服務(wù)器（自助飲料售貨機(jī)）發(fā)起一次request請(qǐng)求（購(gòu)買）唧龄，相應(yīng)的服務(wù)器（自助售貨機(jī)）會(huì)返回計(jì)算機(jī)相應(yīng)的HTML文件作為Response（相應(yīng)的商品）。
爬蟲(chóng)原理
爬蟲(chóng)其實(shí)就是模仿計(jì)算機(jī)：
1奸远、模擬計(jì)算機(jī)對(duì)服務(wù)器發(fā)起Request請(qǐng)求
2既棺、接受服務(wù)器端的Response內(nèi)容并解析、提取所需的信息
我們經(jīng)常遇到網(wǎng)頁(yè)請(qǐng)求主要分為兩種：多頁(yè)面和跨頁(yè)面懒叛。相應(yīng)的爬蟲(chóng)流程也是這兩種丸冕。
1.多頁(yè)面爬蟲(chóng)流程
示例圖：
QQ空間說(shuō)說(shuō)，58趕集等信息網(wǎng)站很多都是這個(gè)結(jié)構(gòu)薛窥，每頁(yè)結(jié)構(gòu)都差不多胖烛。這種類型的網(wǎng)頁(yè)爬蟲(chóng)流程為：
1眼姐、手動(dòng)翻頁(yè)查看一下各網(wǎng)頁(yè)的URL構(gòu)成的特點(diǎn)，構(gòu)造出所有頁(yè)面的URL存入列表中佩番。
2众旗、根據(jù)URL列表一次循環(huán)出URL
3、定義爬蟲(chóng)函數(shù)（這個(gè)是重點(diǎn)趟畏，也是難點(diǎn)）
4逝钥、循環(huán)調(diào)用爬蟲(chóng)函數(shù)，存儲(chǔ)數(shù)據(jù)（根據(jù)數(shù)據(jù)形式拱镐，選擇不同數(shù)據(jù)庫(kù)）
5艘款、循環(huán)完畢，結(jié)束爬蟲(chóng)程序
跨頁(yè)面爬蟲(chóng)流程
以簡(jiǎn)書(shū)為例：列表頁(yè)和詳細(xì)頁(yè)分別如下圖
爬蟲(chóng)流程如下：
1沃琅、定義爬取函數(shù)爬取列表頁(yè)的所有專題URL
2哗咆、將專題URL存入列表中（種子URL）
3、定義爬取詳細(xì)頁(yè)的數(shù)據(jù)函數(shù)
4益眉、進(jìn)入專題詳細(xì)頁(yè)爬取詳細(xì)頁(yè)數(shù)據(jù)
5晌柬、存儲(chǔ)數(shù)據(jù)、循環(huán)完畢郭脂，結(jié)束爬蟲(chóng)程序年碘。如下圖
