下載緩存：假設我們對同一個網(wǎng)站進行了多次下載杏愤，在百萬個網(wǎng)頁的情況下是不明智的痴脾，所以我們需要緩存，下過一次的不再重復下載辆毡，這樣我們能夠節(jié)省很多時間
為鏈接爬蟲添加緩存支持：
在下載之前進行判斷，該鏈接是否含有緩存甜害，只在沒有緩存發(fā)生下載是觸發(fā)限速功能舶掖，
完整代碼地址
為 了支持緩存功能， 鏈接爬蟲的代碼也需要進行一些微調(diào) 尔店， 包括添
加 cache 參數(shù)眨攘、 移除限速以及將 download 函數(shù)替換為新的類等， 如下面的
代碼所示嚣州。
def link_crawler(seed_url, link_regex=None, delay=5, max_depth=-1, max_urls=-1, user_agent='wswp', proxies=None, num_retries=1,scrape_callback=None, cache=None):
'''crawl from the given seed URL following link matched by link_regex'''
crawl_quene = [seed_url]
seen = {seed_url: 0}
num_urls = 0
rp = get_robots(seed_url)
D = Downloader(delay=delay, user_agent=user_agent, proxies=proxies, num_retries=num_retries, cache=cache)
while crawl_quene:
url = crawl_quene.pop()
depth = seen[url]
if rp.can_fetch(user_agent, url):
html = D(url)
links = []
磁盤緩存
將下載到的網(wǎng)頁存儲到文件系統(tǒng)中鲫售，實現(xiàn)該功能，需要將URL安全的映射為跨平臺的文件名
為了保證在不同的文件系統(tǒng)中文件路徑都是安全该肴，我們需要限制其只能包含數(shù)字字母和基本符號情竹，并將其他字符轉(zhuǎn)換為下劃線，
代碼實現(xiàn)：
import re
url = 'http://example.webscraping.com/default/view/Australia-1'
re.sub('[^/0-9a-zA-Z\-.,;_]', '_', url)
需要文件名及其父目錄的長度不超過255個字符
filename = '/'.join(segment[:255] for segment in filename.split('/'))
還有一種邊界情況匀哄，就是URL以斜杠結(jié)尾鲤妥。這樣分割URL后就會造成一個非法的文件名。例如：
- http://example.webscraping.com/index/
-
http://example.webscraping.com/index/1
對于第一個URL可以在后面添加index.html作為文件名拱雏，所以可以把index作為目錄名，1為子目錄名底扳，index.html為文件名
import urlparse
components=urlparse.urlsplit ('http://example.webscraping.com/index/')
print componts
print components.path
comonents = urlparse.urlsplit(url)
path = comonents.path
if not path:
path = '/index.html'
elif path.endswith('/'):
path += 'index.html'
filename = comonents.netloc+path+comonents.query
實現(xiàn)將URL到文件名的這些映射邏輯結(jié)合起來铸抑，
def url_to_path(self, url):
comonents = urlparse.urlsplit(url)
path = comonents.path
if not path:
path = '/index.html'
elif path.endswith('/'):
path += 'index.html'
filename = comonents.netloc+path+comonents.query
filename = re.sub('[^/0-9a-zA-z\-.]', '_', filename)
filename = '/'.join(segment[:255] for segment in filename.split('/'))
return os.path.join(self.cache_dir, filename)
然后在
url to path 方法中應用 了前面討論的文件名 限制。 現(xiàn)在衷模， 我們還缺少根
據(jù)文件名存取數(shù)據(jù)的方法鹊汛， 下面的代碼實現(xiàn)了這兩個缺失的方法。
def __getitem__(self, url):
path = self.url_to_path(url)
if os.path.exists(path):
with open(path, 'rb') as fp:
data = fp.read()
if self.compress:
data = zlib.decompress(data)
result, timestamp = pickle.loads(data)
if self.has_expired(timestamp):
raise KeyError(url + 'has expired')
return result
else:
raise KeyError(url + 'doesnot exist')
def __setitem__(self, url, result):
path = self.url_to_path(url)
folder = os.path.dirname(path)
if not os.path.exists(folder):
os.makedirs(folder)
data = pickle.dumps((result, datetime.utcnow()))
if self.compress:
data = zlib.compress(data)
with open(path, 'wb') as fp:
fp.write(data)
通過測試發(fā)現(xiàn)有緩存（第二次）所需要的時間遠遠少于沒有使用緩存(第一次)的時間
節(jié)省磁盤空間：
為了節(jié)省磁盤空間我們對下載得到的html進行壓縮處理阱冶，使用zlib模塊進行壓縮
fp.write(zlib.compress(pickle.dumps(result)))
解壓
return pickle.loads(zlib.decompress(fp.read()))
清理過期數(shù)據(jù)：
我們將為緩存數(shù)據(jù)添加過期時間 刁憋， 以便爬蟲知道何時需要重新下載網(wǎng)頁，木蹬。在構(gòu)造方法中至耻，我們使用timedelta對象將默認過期時間設置為30天，在set方法中把當前時間戳保存在序列化數(shù)據(jù)中，在get方法中對比當前時間和緩存時間尘颓，檢查是否過期走触。完整代碼
class DiskCache:
def __init__(self, cache_dir='cache', expires=timedelta(days=30), compress=True):
self.cache_dir = cache_dir
self.expires = expires
self.compress = compress
def __getitem__(self, url):
path = self.url_to_path(url)
if os.path.exists(path):
with open(path, 'rb') as fp:
data = fp.read()
if self.compress:
data = zlib.decompress(data)
result, timestamp = pickle.loads(data)
if self.has_expired(timestamp):
raise KeyError(url + 'has expired')
return result
else:
raise KeyError(url + 'doesnot exist')
def __setitem__(self, url, result):
path = self.url_to_path(url)
folder = os.path.dirname(path)
if not os.path.exists(folder):
os.makedirs(folder)
data = pickle.dumps((result, datetime.utcnow()))
if self.compress:
data = zlib.compress(data)
with open(path, 'wb') as fp:
fp.write(data)
def __delitem__(self, url):
path = self._key_path(url)
try:
os.remove(path)
os.removedirs(os.path.dirname(path))
except OSError:
pass
def url_to_path(self, url):
comonents = urlparse.urlsplit(url)
path = comonents.path
if not path:
path = '/index.html'
elif path.endswith('/'):
path += 'index.html'
filename = comonents.netloc+path+comonents.query
filename = re.sub('[^/0-9a-zA-z\-.]', '_', filename)
filename = '/'.join(segment[:255] for segment in filename.split('/'))
return os.path.join(self.cache_dir, filename)
def has_expired(self, timestamp):
return datetime.utcnow() > timestamp+self.expires
def clear(self):
if os.path.exists(self.cache_dir):
shutil.rmtree(self.cache_dir)
if __name__ == '__main__': link_crawler('http://example.webscraping.com/', '/(index|view)', cache=DiskCache())
用磁盤緩存的缺點
由于受制于文件系統(tǒng)的限制，之前我們將URL映射為安全文件名疤苹，然而這樣又會引發(fā)一些問題：- 有些URL會被映射為相同的文件名互广。比如URL：.../count.asp?a+b
,.../count.asp?a*b
。- URL截斷255個字符的文件名也可能相同卧土。因為URL可以超過2000下字符惫皱。
使用URL哈希值為文件名可以帶來一定的改善。這樣也有一些問題：- 每個卷和每個目錄下的文件數(shù)量是有限制的尤莺。FAT32文件系統(tǒng)每個目錄的最大文件數(shù)65535旅敷，但可以分割到不同目錄下。- 文件系統(tǒng)可存儲的文件總數(shù)也是有限的缝裁。ext4分區(qū)目前支持略多于1500萬個文件扫皱，而一個大型網(wǎng)站往往擁有超過1億個網(wǎng)頁。
要想避免這些問題捷绑，我們需要把多個緩存網(wǎng)頁合并到一個文件中韩脑，并使用類似B+樹的算法進行索引。但我們不會自己實現(xiàn)這種算法粹污，而是在下一節(jié)中介紹已實現(xiàn)這類算法的數(shù)據(jù)庫段多。
