繼上次爬取完廣西科技大學(xué)的各個(gè)班級(jí)課表http://www.reibang.com/p/d3e493d127db 接著來試著用Python爬蟲登錄查詢并抓取學(xué)生的成績（當(dāng)然爬取信息霉翔，需要學(xué)號(hào)和密碼崩掘，這里只能用的自己的向大家說明）
上次，抓取學(xué)校班級(jí)的課表是一種簡單的爬取，因?yàn)橹苯臃治鼍W(wǎng)頁弧哎，獲得自己所需要的數(shù)據(jù)即可。
這次是用Python爬蟲登錄查詢并抓取學(xué)生的成績描验，中間多了一步就是要模擬瀏覽器進(jìn)行登錄华烟。關(guān)于這點(diǎn)我走錯(cuò)了路，困擾我一天多酿矢，那會(huì)兒實(shí)在想不清楚為什么始終提取不出頁面榨乎，結(jié)果看了學(xué)長昨晚剛寫完的文章（https://pingxonline.com/php ），終于知道為什么了瘫筐，因?yàn)橥饩W(wǎng)無法訪問教務(wù)信息管理系統(tǒng)蜜暑，外網(wǎng)能查詢成績的只有柳苑晨曦網(wǎng)站，所以本文就以柳苑晨曦成績查詢?yōu)榕老x的對(duì)象策肝。頓時(shí)肛捍，想哭，白白浪費(fèi)時(shí)間還心力交瘁之众。不廢話了拙毫，直接進(jìn)入正題：
（一）不要亂碰壁——明白第一點(diǎn)
- 既然Python爬蟲登錄查詢，肯定是要知道查詢成績要登錄的頁面（柳苑晨曦）：http://online.gxut.edu.cn/cmzx/StudentsMediaCentre.php/Index/login/chengji/1.html
2.利用Chrome進(jìn)行抓包自動(dòng)監(jiān)聽當(dāng)前網(wǎng)絡(luò)棺禾，打開頁面缀蹄，按下F12，如圖所示
3.此時(shí)有這些文件出現(xiàn)膘婶，很明顯chengji文件是我們想要的文件缺前，點(diǎn)擊打開
4.查找我們剛剛輸入的data，一直向下拉就可以看到了
同時(shí)悬襟，我們可以看到Request Header里面的內(nèi)容衅码，Cookie、Referer古胆、User-Agent
在這里我一定要說一下Cookie肆良，剛開始我在網(wǎng)上搜索資料的時(shí)候，有的利用兩次請(qǐng)求頁面而獲得逸绎，然后我查找了一下它的作用：
什么是Cookies？
通俗點(diǎn)講：Cookies是一種能夠讓網(wǎng)站服務(wù)器把少量數(shù)據(jù)儲(chǔ)存到客戶端的硬盤或內(nèi)存夭谤，或是從客戶端的硬盤讀取數(shù)據(jù)的一種技術(shù)棺牧。Cookies是當(dāng)你瀏覽某網(wǎng)站時(shí)，由Web服務(wù)器置于你硬盤上的一個(gè)非常小的文本文件朗儒，它可以記錄你的用戶ID颊乘、密碼参淹、瀏覽過的網(wǎng)頁、停留的時(shí)間等信息乏悄。
經(jīng)過我多次打開此頁面浙值，觀察而得，這個(gè)Cookie是不變的檩小。
（二）模擬登陸
（三）解析頁面开呐，仍然利用BeautifulSoup
查看HTML文檔，可以知道成績是存放在<tbody id="biaoge">的<td>標(biāo)簽里规求，利用創(chuàng)建的soup對(duì)象搜索節(jié)點(diǎn)
（四）完整代碼
把獲得的數(shù)據(jù)傳入數(shù)據(jù)庫進(jìn)行保存
# -*-coding=utf-8-*-
import re
import urllib
import urllib2
import cookielib
from bs4 import BeautifulSoup
import pymysql.cursors
# 連接數(shù)據(jù)庫
connection = pymysql.connect(
host='localhost',
user='root',
password='',
db='chenji',
charset='utf8',
cursorclass=pymysql.cursors.DictCursor,
)
# 模擬登陸
loginUrl = 'http://online.gxut.edu.cn/cmzx/StudentsMediaCentre.php/Index/login/chengji/1.html'
# cookie
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
urllib2.install_opener(opener)
values = {
'userName': '201500402079',
'password': 'xxxxxx',
'submit': '登入'
}
postdata = urllib.urlencode(values)
header = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36',
'Referer': 'http://online.gxut.edu.cn/cmzx/StudentsMediaCentre.php/Index/login/chengji/1.html',
'Cookie': 'PHPSESSID=0pa9gpq62pi6hvcf8018b77hg0'
}
request = urllib2.Request(loginUrl, postdata, header)
print (postdata)
response = urllib2.urlopen(request)
print response.getcode()
html_cont = response.read()
print html_cont
soup = BeautifulSoup(html_cont, 'html.parser', from_encoding='utf-8')
arr = soup.find(id="biaoge").find_all("td")
cj = []
for x in arr:
ch = x.get_text()
print ch
strings = ch
cj.append(strings)
if len(cj) == 14:
try:
with connection.cursor() as cursor:
sql = "INSERT INTO cj(xh, student, semester, classname, leixing, xuefen, pingshi, mid, qimo, total, xz, point, classcode, shic)VALUES (%s, %s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)"
cursor.execute(sql, (cj[0], cj[1], cj[2], cj[3], cj[4], cj[5], cj[6], cj[7], cj[8], cj[9], cj[10], cj[11], cj[12], cj[13]))
connection.commit()
finally:
cj = []
print "insert succeed!"
pass
（五）個(gè)人感悟
1.因?yàn)槭莿傞_始學(xué)習(xí)爬蟲知識(shí)筐付，各種不懂，到處碰壁阻肿，可能一個(gè)小小的瓦戚、很簡單的點(diǎn)兒，在我的手里都要琢磨很久——對(duì)知識(shí)不了解丛塌，反復(fù)反復(fù)较解，一次又一次的error,一個(gè)一個(gè)地去百度，甚至一天下來赴邻，什么也解決印衔，內(nèi)心里都要快氣炸了，有一種對(duì)自己“恨鐵不成鋼”的感覺乍楚，但是還是一次次選擇去解決当编。
2.從學(xué)習(xí)這個(gè)裝了很多軟件，很多版本徒溪，或許Python的2.x和Python的3.x的不同嗎忿偷，讓我在安裝第三方插件的時(shí)候熬丧，就匹配的這個(gè)問題上吃了一些苦頭太伊。讓我想起那天，畢業(yè)的學(xué)長在實(shí)驗(yàn)室的一句話“先有廣度拢操，才有深度”渠概。趁著自己年輕茶凳，多去接觸不同的東西，無論是生活方面的播揪，還是專業(yè)知識(shí)的贮喧，對(duì)自己都有很大的幫助！
2017.7.22 六