框架主要由5大模塊構(gòu)成京革，分別為爬蟲(chóng)調(diào)度器页衙，URL管理器区转，HTML下載器，HTML解析器瞻润，數(shù)據(jù)儲(chǔ)存器喘垂。
- 爬蟲(chóng)調(diào)度器：負(fù)責(zé)統(tǒng)籌其它四個(gè)模塊的協(xié)調(diào)工作。
- URL管理器：維護(hù)已爬取的URL集合和未爬取的URL集合绍撞，提供獲取新URL的鏈接接口正勒。
- HTML下載器：從URL管理器中獲取未爬取的URL鏈接并下載HTML頁(yè)面。
- HTML解析器：從HTML下載器獲取已經(jīng)下載的HTML頁(yè)面傻铣，解析出新的URL鏈接交給URL管理器章贞，解析出有效數(shù)據(jù)交給數(shù)據(jù)儲(chǔ)存器。
- 數(shù)據(jù)儲(chǔ)存期：把HTML解析器得到的數(shù)據(jù)通過(guò)文件或數(shù)據(jù)庫(kù)的形式儲(chǔ)存起來(lái)非洲。
URL管理器
主要包括兩個(gè)變量鸭限，一個(gè)是已爬取的URL集合就谜， 另一個(gè)是未爬取的。用set類型來(lái)去重里覆，防止鏈接重復(fù)爬取丧荐。大型成熟的爬蟲(chóng)基本上采用緩存數(shù)據(jù)庫(kù)去重的方法，由于本次的爬蟲(chóng)爬取數(shù)量小喧枷，所以直接用Python中set內(nèi)存去重的方法虹统。
class UrlManager(object):
#初始化屬性
def __init__(self):
self.new_urls = set() #未爬取的集合
self.old_urls = set() #已爬取的集合
#判斷是否還有未爬取的URL
def has_new_url(self):
return self.new_url_size() !=0 #返回一個(gè)Bool值
#獲取一個(gè)未爬取的URL，并將其加到已爬取的集合中去
def get_new_url(self):
new_url = self.new_urls.pop() #pop的返回值就是被刪除的目標(biāo)
self.old_urls.add(new_url)
return new_url
#增加一個(gè)URL鏈接到未爬取的集合中
def add_new_url(self,url):
if url:
if url not in self.new_urls and url not in self.old_urls:
self.new_urls.add(url)
#增加一個(gè)URL集合到未爬取的集合中
def add_new_urls(self,urls):
if urls:
for url in urls:
self.add_new_url(url)
#返回未爬取的URL數(shù)量
def new_url_size(self):
return len(self.new_urls)
#返回已爬取的URL數(shù)量
def old_url_size(self):
return len(self.old_urls)
HTML下載器
HTML下載器用來(lái)下載網(wǎng)頁(yè)隧甚，只需要實(shí)現(xiàn)一個(gè)接口口：download(url)车荔，比較簡(jiǎn)單。
import requests
class HtmlDownloader(object):
def download(self,url):
try:
kv = {'user-agent': 'Mozilla/5.0'}
r = requests.get(self.url, timeout=5, headers = kv)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
print('爬取失敗')
HTML解析器
用于提取襄陽(yáng)詞條頁(yè)面的URL和當(dāng)前詞條的標(biāo)題和摘要信息戚扳。
from bs4 import BeautifulSoup
class HtmlParser(object):
def parser(self,page_url,html_cont):
'''
用于解析網(wǎng)頁(yè)內(nèi)容忧便，抽取URL和數(shù)據(jù)
page_url:下載頁(yè)面的URL
htmL_cont:下載的網(wǎng)頁(yè)內(nèi)容
'''
if page_url is None or html_cont is None:
return
soup = BeautifulSoup(html_cont,'html.parser',from_enconding = 'utf-8')
new_urls = self._get_new_urls(page_url,soup)
new_data = self._get_new_data(page_url,soup)
return new_urls,new_data
def _get_new_urls(self,page_url,soup):
'''
抽取新的URL集合
page_url:下載頁(yè)面的URL
soup:
'''
new_urls = set()
#找到相關(guān)鏈接
links = soup.find('div',class_="lemma-summary").find_all('a')
for link in links:
new_url = link['href'] #提取'href'屬性
new_full_url = page_url + new_url #合成一個(gè)完成網(wǎng)址
new_urls.add(new_full_url)
return new_urls
def _get_new_data(self,page_url,soup):
data = {}
data['url']=page_url
title = soup.find('dd',class_='lemmaWgt-lemmaTitle-title').find('h1')
data['title']=title.string
summary = soup.find('div',class_='lemma-summary')
data['summary']=summary.string
return data
數(shù)據(jù)儲(chǔ)存器
主要包括兩個(gè)方法：一個(gè)用于將解析出來(lái)的數(shù)據(jù)儲(chǔ)存到內(nèi)中，一個(gè)用于將儲(chǔ)存數(shù)據(jù)輸出為指定的文件格式帽借。
