正常情況下的瀏覽器查詢信息的底層步驟：
1精绎、瀏覽器發(fā)送一個(gè)請(qǐng)求對(duì)象，此對(duì)象包含請(qǐng)求頭部和信息體兩個(gè)部分锌妻，頭部主要包括本機(jī)的MAC地址信息代乃、想要訪問的對(duì)象的IP信息等基本信息，信息體則是想要訪問的內(nèi)容部分
2仿粹、信息從本機(jī)ip發(fā)出后搁吓，流轉(zhuǎn)到本機(jī)的網(wǎng)關(guān)原茅，本機(jī)網(wǎng)關(guān)在請(qǐng)求對(duì)象上加上自己的一些信息，然后根據(jù)tcp／ip協(xié)議將其打包切成許多份發(fā)送到網(wǎng)絡(luò)上
3堕仔、通常從本機(jī)的網(wǎng)關(guān)發(fā)出后不會(huì)直接由目標(biāo)服務(wù)器接收擂橘，而是會(huì)經(jīng)過多個(gè)代理服務(wù)器，代理服務(wù)器在收到信息后贮预，同樣會(huì)添加自己的一些信息后繼續(xù)發(fā)送到下一個(gè)代理服務(wù)器
4贝室、服務(wù)器接收到信息包后會(huì)與本機(jī)驗(yàn)證，驗(yàn)證通過后解析信息包仿吞，并返回信息包的請(qǐng)求對(duì)象滑频，然后將返回的對(duì)象如上步驟發(fā)回本機(jī)，瀏覽器對(duì)返回的信息解析后展示到前端
本質(zhì)上爬蟲與瀏覽器并無差異唤冈，都是通過訪問目標(biāo)服務(wù)器來獲取所需的信息
簡(jiǎn)單的爬蟲示例
from urllib.request import urlopen
path='http://xxxx.xxx.xxx'
html=urlopen(path)
print(html.read())
BS4版的簡(jiǎn)單爬蟲示例
from urllib.request import urlopen
from bs4 import BeautifulSoup
path='http://xxxx.xxx.xxx'
html=urlopen(path)
bsobj=BeautifulSoup(html.read(),'lxml')
print(bsobj)
beautifulsoup把一個(gè)html對(duì)象轉(zhuǎn)換為beautifulsoup對(duì)象峡迷，可以輕易用標(biāo)簽、正則或者函數(shù)讀取特定信息
擼代碼的時(shí)候請(qǐng)記得要設(shè)置好處理異常和錯(cuò)誤
訪問某一服務(wù)器的某個(gè)頁面時(shí)可能會(huì)出現(xiàn)如下錯(cuò)誤：
1你虹、頁面不存在
2绘搞、服務(wù)器不存在
異常1經(jīng)常以404或者500的信息碼方式出現(xiàn)，會(huì)拋出HTTPError異常傅物，可以用except捕獲
異常2會(huì)返回一個(gè)None的對(duì)象闽巩，此時(shí)可以用if else條件來判斷返回對(duì)象是否為None
from urllib.request import urlopen
from bs4 import BeautifulSoup
path='http://xxxx.xxx.xxx'
try:
html=urlopen(path)
except HTTPError as e:
return None
try:
bsobj=BeautifulSoup(html.read(),'lxml')
except AttributeError as e:
return None
由于bs對(duì)象可能是以一個(gè)None對(duì)象存在，那么當(dāng)需要提取html對(duì)象的子節(jié)點(diǎn)的信息時(shí)因惭，例如h1倦淀、p等，上述的第二個(gè)try卒暂、except會(huì)返回錯(cuò)誤啄栓，因?yàn)镹one type是沒有任何其他子節(jié)點(diǎn)的屬性的，因此要再加以判斷也祠，并且上述內(nèi)容可以用函數(shù)封裝
上述代碼修改為：
from urllib.request import urlopen
from bs4 import BeautifulSoup
def read_url(url):
try:
html=urlopen(url)
except HTTPError as e:
return None
try:
bsobj=BeautifulSoup(html.read(),'lxml')
title=bsobj.body.h1
except AttributeError as e:
return None
return title
title=read_url('http://xxxx.xxx.xxx')
if title is None:
print('xxxxx')
else:
print(title)
