1.參考視頻為：https://www.imooc.com/learn/563
2.簡單爬蟲結(jié)構(gòu)的五個部分：
- 爬蟲主程序
- URL管理器
- HTML下載器
- HTML解析器
- HTML輸出器
3.下面以360百科為例酸些，實(shí)際操作一下：
- 新建5個文件：
- main_spider.py
- url_manager.py
- html_downloader.py
- html_parser.py
- html_outputer.py
- 首先是main_spider.py：
# -*- coding: utf-8 -*-
import html_downloader
import html_outputer
import html_parser
import url_manager
'''
MainSpider的執(zhí)行思路：
1)實(shí)例化各個模塊
2)把start_url添加到URL管理器
3)進(jìn)入while循環(huán)，判斷URL管理器是否有新的URL
①如果有:
a.從URL管理器中取出一個新的URL
b.開始下載URL對應(yīng)的頁面
c.對頁面進(jìn)行解析：得到新的URLs和數(shù)據(jù)
d.把新的URLs添加到URL管理器中
e.把新的數(shù)據(jù)收集到URL輸出器中
②若無：pass
4)已解析的數(shù)據(jù)放入html_outputer處理
5)（可選）添加輔助count埋泵，用于記錄爬蟲執(zhí)行的次數(shù)协怒，控制爬取網(wǎng)頁數(shù)量。
6)（可選）處理異常：try...except...語句
'''
# step2:建立爬蟲的主類
class Mainspider(object):
#實(shí)例化各個模塊
def __init__(self):
self.manager = url_manager.UrlManager()
self.downloader = html_downloader.HtmlDownloader()
self.parser = html_parser.HtmlParser()
self.outputer = html_outputer.HtmlOutputer()
def crawl(self, start_url):
count = 1
self.manager.add_new_url(start_url) #把start_url添加到URL管理器
while self.manager.has_new_url(): #進(jìn)入while循環(huán)句狼，判斷URL管理器是否有新的URL
try:
# 從URL管理器中取出一個新的URL
new_url = self.manager.get_new_url()
print('Crawl{}:{}'.format(count,new_url)) #輔助輸出
# 開始下載URL對應(yīng)的頁面
html_text = self.downloader.download(new_url)
# 對頁面進(jìn)行解析：得到新的URLs和數(shù)據(jù)
new_urls,new_data = self.parser.parse(new_url,html_text)
# 把新的URLs添加到URL管理器中
self.manager.add_new_urls(new_urls)
# 把新的數(shù)據(jù)收集到URL輸出器中
self.outputer.collect_data(new_data)
if count == 100: ##控制爬取網(wǎng)頁數(shù)量
break
count += 1 #計數(shù)器加一
except:
print('Crawl Failed!')
# 已解析的數(shù)據(jù)放入html_outputer處理渡蜻，本例輸出為html文件碱璃。
self.outputer.output_html()
# step1:爬蟲總調(diào)度程序
if __name__ == "__main__":
start_url = "http://book.dangdang.com/" #爬蟲開始的url
mspider = Mainspider()
mspider.crawl(start_url)
- 接下來分別實(shí)現(xiàn)各個模塊的代碼褐荷，url_manager.py：
# -*- coding: utf-8 -*-
'''
初始化兩個集合勾效，用于存放：未爬取的URL和已爬取的URL。
集合(set)的特點(diǎn)是元素不重復(fù)叛甫，可以用于過濾重復(fù)的URL层宫。
'''
# URL管理器
class UrlManager(object):
def __init__(self):
self.uncrawl_urls = set() #用于存放待抓取的url
self.crawled_urls = set() #用于存放已抓取的url
# 添加新url到待爬取url_list中
def add_new_url(self, url):
if url is None:
return
# 如果抓取的url不在上述兩個集合中，可認(rèn)為是新的url其监。
if url not in self.uncrawl_urls and url not in self.crawled_urls:
self.uncrawl_urls.add(url)
# 添加urls到待爬取url_list中
def add_new_urls(self, urls):
if urls is None or len(urls) == 0:
return
for url in urls:
self.uncrawl_urls.add(url)
# 判斷待爬取url_list中是否有數(shù)據(jù)
def has_new_url(self):
if len(self.uncrawl_urls) != 0:
return True
else:
return False
# 從url_list中取出url數(shù)據(jù)
def get_new_url(self):
url = self.uncrawl_urls.pop() #pop的作用是從uncrawl_urls中取出url
self.crawled_urls.add(url) #將取出的url放入crawled_urls
return url
html_downloader.py
# -*- coding: utf-8 -*-
import requests
import time
# 開始下載URL對應(yīng)的頁面
class HtmlDownloader(object):
def download(self, new_url):
hds = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}
r = requests.get(new_url,headers = hds)
if r.status_code != 200: #用于判斷請求是否成功萌腿。
return None
r.encoding = "utf-8" #（可選）直接設(shè)定編碼方式，出現(xiàn)亂碼時使用
time.sleep(1) # 設(shè)置睡眠時間抖苦，給服務(wù)器減負(fù)毁菱。
return r.text
html_parser.py
# -*- coding: utf-8 -*-
from lxml import etree
import re
class HtmlParser(object):
def parse(self, url, html_text):
selector = etree.HTML(html_text)
new_urls = self._get_new_urls(html_text)
new_data = self._get_new_data(url,selector)
return new_urls,new_data
def _get_new_urls(self,html_text):
new_urls = set()
# 格式為：/doc/5925549-6138471.html
links = re.findall("\/doc\/\d+-\d+\.html",html_text) #使用正則抓取url
for link in links:
url = "https://baike.so.com" + link
new_urls.add(url)
return new_urls
def _get_new_data(self,new_url,selector):
new_data = {}
new_data['url'] = new_url
try:
new_data['title'] = selector.xpath('///span[@class="title"]/text()')[0]
new_data['summary'] = selector.xpath('//div[@class="card_content"]/p[1]')[0].xpath('string(.)').strip()
except:
new_data['title'] = ""
new_data['summary'] = ""
return new_data
html_outputer.py
# -*- coding: utf-8 -*-
class HtmlOutputer(object):
datas = []
def collect_data(self, new_data):
if new_data is None:
return
self.datas.append(new_data)
def output_html(self):
# 方式一：直接打印
# for data in self.datas:
# print(data['title'],data['summary'])
# 方式二：輸出html
with open('output.html','w',encoding='UTF-8') as f:
f.write('<html>')
f.write('<head>')
f.write('<meta charset="utf-8">')
f.write('<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />')
f.write('</head>')
f.write('<body>')
f.write('<table>')
for data in self.datas:
f.write('<tr>')
f.write('<td>%s</td>' % data['url'])
f.write('<td>%s</td>' % data['title'])
f.write('<td>%s</td>' % data['summary'])
f.write('</tr>')
f.write('</table>')
f.write('</body>')
f.write('</html>')
結(jié)果：
打印結(jié)果
Html輸出
關(guān)于python3編碼問題米死，可以留意以下帖子：
https://foofish.net/how-python3-handle-charset-encoding.html
