? 爬蟲的坑是很久之前就想入的羞福，一直都懶于動(dòng)手醇锚。回家待了幾天終于磨蹭出了點(diǎn)東西坯临，寫寫博客鞏固一下焊唬。
? 首先，我的理解看靠，爬蟲是一個(gè)能自動(dòng)獲取想要獲得的信息的程序赶促，在這個(gè)過程中需要解決各種各樣的困難和問題。常見的是用戶登陸挟炬，驗(yàn)證碼鸥滨。這是最基礎(chǔ)，也是這次嘗試的內(nèi)容谤祖。
? 由此婿滓，有一個(gè)淺網(wǎng)和暗網(wǎng)的問題。這個(gè)就日后再說了粥喜。
? 現(xiàn)在開始思考爬蟲的功能凸主。我的目的是能自動(dòng)登陸neu教務(wù)處的頁面獲取學(xué)生信息。這個(gè)過程需要輸入學(xué)號密碼和驗(yàn)證碼额湘。驗(yàn)證碼是google了一個(gè)tesseract-ocr庫來用的卿吐，下載了一張驗(yàn)證碼嘗試了一下發(fā)現(xiàn)可以使用就寫了一個(gè)函數(shù)調(diào)用這個(gè)庫。封裝起來ocr的部分了锋华。查到的攻略是在系統(tǒng)里安裝嗡官，然后用python os模塊的popen函數(shù)，直接對終端輸入毯焕。將結(jié)果存在文件中衍腥。
import os
def image_to_string(img, cleanup=True, plus=''):
# cleanup為True則識別完成后刪除生成的文本文件
# plus參數(shù)為給tesseract的附加高級參數(shù)
? os.popen('tesseract ' + img + ' ' + img + ' ' + plus)? # 生成同名txt文件
text = file(img + '.txt').read().strip()
if cleanup:
os.remove(img + '.txt')
return text
解決了驗(yàn)證碼的問題，就要來看登陸的過程了。經(jīng)過在chrome中追蹤了登陸過程中的Get和Post請求后婆咸，找到了Post登陸表單的Url坊罢，和最終Get到網(wǎng)頁信息的Url。這時(shí)候就要用到cookie了擅耽。我理解的cookie是為了解決登陸之后，服務(wù)器識別當(dāng)前用戶是否已經(jīng)登陸用的物遇。網(wǎng)上查了python中 urllib2和urllib下關(guān)于HTTP的一些函數(shù)之后乖仇，找到了解決辦法。
handler = urllib2.HTTPCookieProcessor(cookie)
opener = urllib2.build_opener(handler)
# 將cookies綁定到一個(gè)opener? cookie由cookielib自動(dòng)管理
然后再根據(jù)抓的HTTP請求信息把header和post數(shù)據(jù)補(bǔ)全
postData = {
'WebUserNO':username,
'applicant':'',
'Password':password,
'Agnomen':SecretCode,
'submit7':'%B5%C7%C2%BC',
}
# 根據(jù)抓包信息 構(gòu)造表單
headers = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'Accept-Language': 'zh-CN,zh;q=0.8',
'Connection': 'keep-alive',
'Content-Type': 'application/x-www-form-urlencoded',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537$
}
# 根據(jù)抓包信息 構(gòu)造headers
這樣就可以把程序自動(dòng)的請求偽裝成像瀏覽器一樣的樣子了询兴，有些網(wǎng)站會(huì)有防止自動(dòng)爬取內(nèi)容的功能乃沙，根據(jù)請求頭來識別。
還要注意編碼的問題诗舰，國外網(wǎng)站大多是utf-8的編碼格式警儒，國內(nèi)有些舊網(wǎng)站是gbk 或者gb2312，需要解碼眶根。
data = urllib.urlencode(postData)
# 生成post數(shù)據(jù) ?key1=value1&key2=value2的形式
request = urllib2.Request(PostUrl, data, headers)
# 構(gòu)造request請求
try:
response = opener.open(request)
#result = response.read().decode('GBK')
result = opener.open(GetUrl).read().decode('GBK')
# 由于該網(wǎng)頁是gb2312的編碼蜀铲，所以需要解碼
print result
return result
# 打印登錄后的頁面
except urllib2.HTTPError, e:
print e.code
return null
# 利用之前存有cookie的opener登錄頁面
DAY-1就先這樣了，有很多問題目前属百。代碼還沒完善记劝。需要重構(gòu)，改成scrapy架構(gòu)族扰。文本格式也不好厌丑，下次換一個(gè)編輯器。思路整理也不好渔呵，需要再鍛煉怒竿。畢竟是第一次寫這么長的博客。
貼一下源代碼扩氢，在我的github上耕驰。也是剛剛開始用github，日后學(xué)明白了可以再寫一篇博客录豺。
注：tesseract-ocr可以識別數(shù)字英文耍属，也可以下載中文字庫識別漢字。據(jù)說可以通過訓(xùn)練巩检，提高準(zhǔn)確率厚骗。貼一下github網(wǎng)址，可以下載來試試
