早上起來閑來無事做凌节，莫名其妙的就彈出了糗事百科的段子，轉念一想既然你送上門來椿争，那我就寫個爬蟲到你網(wǎng)站上爬一爬吧，一來當做練練手熟嫩，二來也算找點樂子秦踪。
其實這兩天也正在接觸數(shù)據(jù)庫的內(nèi)容，可以將爬取下來的數(shù)據(jù)保存在數(shù)據(jù)庫中掸茅，以待以后的利用椅邓。好了，廢話不多說了倦蚪，先來看看程序爬取的數(shù)據(jù)結果
這里寫圖片描述
值得一提的是希坚，我在程序中想一下子爬取糗事百科 30 頁的內(nèi)容，但是出現(xiàn)了連接錯誤陵且，當我把頁數(shù)降到 20 頁的時候裁僧，程序就可以正常的跑起來了，不知道是什么原因慕购，渴望知道的大神可以告訴我一聲聊疲，感激不盡。
程序非常簡單沪悲，直接上源代碼咯
# coding=utf8
import re
import requests
from lxml import etree
from multiprocessing.dummy import Pool as ThreadPool
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
def getnewpage(url, total):
nowpage = int(re.search('(\d+)', url, re.S).group(1))
urls = []
for i in range(nowpage, total + 1):
link = re.sub('(\d+)', '%s' % i, url, re.S)
urls.append(link)
return urls
def spider(url):
html = requests.get(url)
selector = etree.HTML(html.text)
author = selector.xpath('//*[@id="content-left"]/div/div[1]/a[2]/@title')
content = selector.xpath('//*[@id="content-left"]/div/div[2]/text()')
vote = selector.xpath('//*[@id="content-left"]/div/div[3]/span/i/text()')
length = len(author)
for i in range(0, length):
f.writelines('作者 : ' + author[i] + '\n')
f.writelines('內(nèi)容 ：' + str(content[i]).replace('\n','') + '\n')
f.writelines('支持 ： ' + vote[i] + '\n\n')
if __name__ == '__main__':
f = open('info.txt', 'a')
url = 'http://www.qiushibaike.com/text/page/1/'
urls = getnewpage(url, 20)
pool = ThreadPool(4)
pool.map(spider,urls)
f.close()
如果其中有不懂得部分获洲，可以依次參考我的前三篇文章。
