遍歷下載網(wǎng)站群————link_crawler
能夠想到的方法有：1.通過網(wǎng)站地圖 2.通過網(wǎng)站的url特點3.像普通用戶一樣追蹤鏈接待笑。
由于1、2兩種方法比較簡單，并且有很大的局限性戳气，所以著重講第三種方法，也是應用面更廣的
方法巧鸭。
實例：link_crawler('http://example.webscraping.com','/(index|view)')

1.版本1.0

import re
def link_crawler（seed_url）:
    crawl_queue=[seed_url]
    while crawl_queue:
        url=crawl_queue.pop()
        html=download(url)#筆記三中的函數(shù)
        crawl_queue.append(get_link(html))
        
def get_link(html):
    webpage_patt=re.compile('<a[^>]+href=["\'](.*?)["\']',re.IGNORECASE)
    return webpage_patt.findall(html.decode())#返回一個包含所以頁面link的列表,由于匹配模式是str類型瓶您，而html是bytes類型。所以要把html進行decode（）解碼蹄皱。--默認為utf-8來解碼

2.按一定規(guī)則搜集同類型的頁面，版本2.0

import re
def link_crawler（seed_url,link_res）:
    crawl_queue=[seed_url]
    while crawl_queue:
        url=crawl_queue.pop()
        html=download(url)
        #加入一個過濾器
        for link in get_link(html):
            if re.match(link_res,link):
                crawl_queue.append(link)
        
def get_link(html):
    webpage_patt=re.compile('<a[^>]+href=["\'](.*?)["\']',re.IGNORECASE)
    return webpage_patt.findall(html.decode())#返回一個包含所以頁面link的列表

3.發(fā)現(xiàn)get_link的網(wǎng)站是相對鏈接芯肤，并不是絕對鏈接所以要拼接巷折，用urllib.parse

版本3.0

import re
from urllib import parse
def link_crawler（seed_url,link_res）:
    crawl_queue=[seed_url]
    while crawl_queue:
        url=crawl_queue.pop()
        html=download(url)
        #加入一個過濾器
        for link in get_link(html):
            if re.match(link_res,link):
                link=parse.urljoin(seed_url,link)
                crawl_queue.append(link)
        
def get_link(html):
    webpage_patt=re.compile('<a[^>]+href=["\'](.*?)["\']',re.IGNORECASE)
    return webpage_patt.findall(html.decode())#返回一個包含所以頁面link的列表

4.發(fā)現(xiàn)有的網(wǎng)站之間相互存在鏈接，為避免重復抓取崖咨。

版本4.0：

import re
from urllib import parse
def link_crawler(seed_url,link_res):
    crawl_queue=[seed_url]
    seen=set(crawl_queue)
    '''
    這里的前兩行是初始賦值的作用锻拘，后面的循環(huán)中
    就不好賦值了，特別是在循環(huán)中很難操作set（）
    使其增加
    '''
    while crawl_queue:
        url=crawl_queue.pop()
        html=download(url)
        #加入一個過濾器#在過濾器中看是否重復
        for link in get_link(html):
            if re.match(link_res,link):
                link=parse.urljoin(seed_url,link)
                if link not in seen:#先篩選符合條件的link击蹲，再進行篩選是否看過署拟，這個順序能減少工作量。
                    crawl_queue.append(link)
                    seen.add(link)
                    
def get_link(html):
    webpage_patt=re.compile('<a[^>]+href=["\'](.*?)["\']',re.IGNORECASE)
    return webpage_patt.findall(html.decode())#返回一個包含所以頁面link的列表

5.為了防止爬蟲被禁歌豺，運用urllib.robotparser模塊分析robots.txt

版本5.0

import re
from urllib import parse
from urllib import robotparser


def link_crawler(seed_url,link_res,User_agent='wswp'):
    crawl_queue=[seed_url]
    seen=set(crawl_queue)
    
    #讀取robots.txt
    rp=robotparser.RobotFileParser()
    rp.set_url('http://example.webscraping.com/robots.txt')
    rp.read()
    '''
    這里的前幾行是初始賦值的作用推穷，后面的循環(huán)中
    就不再需要賦值了，特別是在循環(huán)中很難操作set（）
    使其增加
    '''
    while crawl_queue:
        url=crawl_queue.pop()
        #檢查該url是否能被禁止爬取
        if rp.can_fetch(User_agent,url):
            html=download(url)
            #加入一個過濾器#在過濾器中看是否重復
            for link in get_link(html):
                if re.match(link_res,link):
                    link=parse.urljoin(seed_url,link)
                    if link not in seen:#先篩選符合條件的link类咧，再進行篩選是否看過馒铃，這個順序能減少工作量蟹腾。
                        crawl_queue.append(link)
                        seen.add(link)
        else:
            print('Blocked by robots.txt',url)
                        
def get_link(html):
    webpage_patt=re.compile('<a[^>]+href=["\'](.*?)["\']',re.IGNORECASE)
    return webpage_patt.findall(html.decode())#返回一個包含所以頁面link的列表

6.下載限速，為了防止爬蟲速度過快区宇，遭到禁封和造成服務器過載的風險娃殖。需要在兩次同一主站網(wǎng)站下載之間設置延遲：

這時直接加入程序到link_crawler函數(shù)中：
應該實現(xiàn)：1.要能記錄兩次下載時間的功能，計算是否需要延遲议谷，以及延時多久炉爆。

版本6.0

import re
from urllib import parse
from urllib import robotparser
import time
def link_crawler(seed_url,link_res,User_agent='wswp'):
    crawl_queue=[seed_url]
    seen=set(crawl_queue)
    
    #讀取robots.txt
    rp=robotparser.RobotFileParser()
    rp.set_url('http://example.webscraping.com/robots.txt')
    rp.read()
    '''
    這里的前幾行是初始賦值的作用，后面的循環(huán)中
    就不再需要賦值了卧晓，特別是在循環(huán)中很難操作set（）
    使其增加
    '''
    b=0
    delay=3
    while crawl_queue:
        url=crawl_queue.pop()
        #檢查該url是否能被禁止爬取
        if rp.can_fetch(User_agent,url):
            #時間管理器
            a=time.time()
            if delay:
                sleeptime=delay-(a-b)
                if sleeptime>0:
                    time.sleep(sleeptime)
            html=download(url)
            b=time.time()
            #加入一個過濾器#在過濾器中看是否重復
            for link in get_link(html):
                if re.match(link_res,link):
                    link=parse.urljoin(seed_url,link)
                    if link not in seen:#先篩選符合條件的link芬首，再進行篩選是否看過，這個順序能減少工作量禀崖。
                        crawl_queue.append(link)
                        seen.add(link)
        else:
            print('Blocked by robots.txt',url)

但是衩辟，在訪問有外鏈的網(wǎng)站時，比如hao123的網(wǎng)址有百度的鏈接波附。就不需要暫停艺晴。
所以還要實現(xiàn)以下功能：
1.要能記錄兩次下載時間的功能，計算是否需要延遲掸屡，以及延時多久封寞。
2.要能記錄不同主站的下載時間〗霾疲————需要創(chuàng)建一個字典來建立對應關系狈究。
eg：hao123，下的網(wǎng)址download完了盏求，可以立刻下載baidu下的網(wǎng)址抖锥，但是要隔3秒才能下載hao123下的網(wǎng)址。
版本6.1

import time
import re
from urllib import parse
from urllib import robotparser
def link_crawler(seed_url,link_res,User_agent='wswp'):
    crawl_queue=[seed_url]
    seen=set(crawl_queue)
    #讀取robots.txt
    rp=robotparser.RobotFileParser()
    rp.set_url('http://example.webscraping.com/robots.txt')
    rp.read()
    #時間管理器初始化
    #b=0
    last_time={}
    delay=3
    '''
    這里的前幾行是初始賦值的作用碎罚，后面的循環(huán)中
    就不再需要賦值了磅废，特別是在循環(huán)中很難操作set（）
    使其增加
    '''
    while crawl_queue:
        url=crawl_queue.pop()
        #檢查該url是否能被禁止爬取
        if rp.can_fetch(User_agent,url):
            #時間管理器
            #記錄下載的是哪個網(wǎng)站
            net_loc=urlparse(url).netloc
            #a=time.time()
            if delay:
                #sleeptime=delay-(time.time()-last_time[net_loc])#初始化的原因，一開始是空字典荆烈，這么做會出錯拯勉。需要用到字典取值的另外的方法：.get（key），key存在返回value憔购。不存在返回None
                if last_time.get(net_loc) is not None:
                    sleeptime=delay-(time.time()-last_time[net_loc])
                    if sleeptime>0:
                        time.sleep(sleeptime)
            html=download(url)
            last_time[net_loc]=time.time()
            #b=time.time()
            #加入一個過濾器#在過濾器中看是否重復
            for link in get_link(html):
                if re.match(link_res,link):
                    link=parse.urljoin(seed_url,link)
                    if link not in seen:#先篩選符合條件的link宫峦，再進行篩選是否看過，這個順序能減少工作量玫鸟。
                        crawl_queue.append(link)
                        seen.add(link)
        else:
            print('Blocked by robots.txt',url)

雖然导绷，至此已經(jīng)解決了下載限速的問題。但是把這種有特點功能的程序都寫在一起并不好屎飘，首先代碼的可讀性降低诵次，其次等要修改時間管理器的時候還要找在什么地方要修改账蓉。
為了讓程序有更好的擴展性，可以把它模塊化逾一。在程序設計越來越復雜的時候需要把一定功能的程序抽象為模塊（面向?qū)ο蟮脑O計）铸本，讓程序更加可控。
所以建立一個類遵堵，其作用就是時間管理器箱玷。
版本6.2

import re
from urllib import parse
from urllib import robotparser

class Timedelay:
    #初始化
    def __init__(self,delay)：
        #設置延遲時間
        self.delay=delay
        #創(chuàng)建記錄主站的字典
        self.domains={}
    #創(chuàng)建等待函數(shù)，同時還要實現(xiàn)記錄走后一次訪問時間
    def wait(self,url):
        netloc=urlparse(url).netloc
        last_time=self.domains.get(netloc)
        if self.delay and last_time:
            sleeptime=self.delay-(time.time()-last_time)
            if sleeptime>0:
                time.sleep(sleeptime)
        #每次暫停后陌宿，或者沒暫停都重置最后一次訪問時間
        self.domains[netloc]=time.time()
        
def link_crawler(seed_url,link_res,User_agent='wswp',delay=None,proxy=None):
    crawl_queue=[seed_url]
    seen=set(crawl_queue)
    
    #讀取robots.txt
    rp=robotparser.RobotFileParser()
    rp.set_url('http://example.webscraping.com/robots.txt')
    rp.read()
    timedelay=Timedelay(delay)#同樣是初始化
    '''
    這里的前幾行是初始賦值的作用锡足，后面的循環(huán)中
    就不再需要賦值了，特別是在循環(huán)中很難操作set（）
    使其增加
    '''
    while crawl_queue:
        url=crawl_queue.pop()
        #檢查該url是否能被禁止爬取
        if rp.can_fetch(User_agent,url):
            timedelay.wait(url)#暫停壳坪，并記下本次主站下載開始時間
            html=download(url,proxy=proxy)
            #加入一個過濾器#在過濾器中看是否重復
            for link in get_link(html):
                if re.match(link_res,link):
                    link=parse.urljoin(seed_url,link)
                    if link not in seen:#先篩選符合條件的link舶得，再進行篩選是否看過，這個順序能減少工作量爽蝴。
                        crawl_queue.append(link)
                        seen.add(link)
        else:
            print('Blocked by robots.txt',url)  

7.爬蟲陷阱沐批。目前爬蟲會跟蹤以前從沒有訪問過的頁面。但是有的網(wǎng)站動態(tài)生成頁面內(nèi)容蝎亚，這樣會出現(xiàn)無限多的網(wǎng)頁九孩。這樣爬蟲會無限制鏈接下去。

為了避免爬蟲陷阱发框，簡單的方法是到達當前頁面經(jīng)過了多少鏈接躺彬，也就是深度。
功能：當達到這個深度的時候就不往隊列里添加鏈接了梅惯，修改seen宪拥，不僅可以記錄，而且還有對應的深度記錄铣减。改為字典（判別重復的概率低了）

def link_crawler(seed_url,link_res,User_agent='wswp',delay=None,proxy=None,maxdepth=2):
    crawl_queue=[seed_url]
    #seen=set(crawl_queue)
    seen={}
    seen[seed_url]=0
    #讀取robots.txt
    rp=robotparser.RobotFileParser()
    rp.set_url('http://example.webscraping.com/robots.txt')
    rp.read()
    timedelay=Timedelay(delay)#同樣是初始化
    '''
    這里的前幾行是初始賦值的作用她君，后面的循環(huán)中
    就不再需要賦值了，特別是在循環(huán)中很難操作set（）
    使其增加
    '''
    while crawl_queue:
        url=crawl_queue.pop()
        #檢查該url是否能被禁止爬取
        if rp.can_fetch(User_agent,url):
            timedelay.wait(url)#暫停徙歼，并記下本次主站下載開始時間
            html=download(url,proxy=proxy)
            #加入一個過濾器#在過濾器中看是否重復
            dept=seen[url]
            if dept!=maxdepth:
                for link in get_link(html):
                    if re.match(link_res,link):
                        link=parse.urljoin(seed_url,link)
                        if link not in seen:#先篩選符合條件的link犁河，再進行篩選是否看過鳖枕，這個順序能減少工作量魄梯。
                            crawl_queue.append(link)
                            seen[link]=dept+1
            print(seen)
        else:
            print('Blocked by robots.txt',url)