分析登錄過程
這幾天研究百度登錄和貼吧簽到桐汤，這百度果然是互聯(lián)網(wǎng)巨頭，一個登錄過程都弄得復雜無比靶壮，簡直有毒怔毛。我研究了好幾天仍然沒搞明白。所以還是先挑一個軟柿子捏捏腾降，就選擇CSDN了馆截。
過程很簡單，我也不截圖了蜂莉。直接打開瀏覽器，然后打開Fiddler混卵，然后登錄CSDN映穗。然后Fiddler顯示瀏覽器向https://passport.csdn.net/account/login?ref=toolbar發(fā)送了一個POST請求，這個請求包含了登錄表單幕随，而且還是未加密的蚁滋。當然CSDN本身還是使用了HTTPS，所以安全性還行赘淮。
請求體如下辕录，username和password當然是用戶名和密碼了。
username=XXXXX&password=XXXXXX&rememberMe=true<=LT-461600-wEKpWAqbfZoULXmFmDIulKPbL44hAu&execution=e4s1&_eventId=submit
lt參數(shù)我不知道是干啥的梢卸，結果直接在頁面中一看原來全在表單里頭走诞，這下直接全了。CSDN很貼心的連注釋都給出了蛤高。另外如果你打開百度首頁的話蚣旱，還會發(fā)現(xiàn)瀏覽器的log中還會輸出百度的招聘信息。
登錄代碼
這些信息全有了戴陡，這樣我們就可以登錄了塞绿。不說廢話，直接上代碼恤批。先說說我遇到的幾個坑异吻。
首先是一個參數(shù)錯誤，其實邏輯沒問題喜庞，但是代碼我復制粘貼之后忘了改名字了诀浪，就登錄表單那里，三個參數(shù)全弄成了lt赋荆，結果登錄返回來的頁面是錯誤頁面笋妥。我還以為是沒有附帶什么請求頭，瞎整了大半天窄潭。最后用Fiddler調(diào)試了好多遍才發(fā)現(xiàn)春宣。
第二個問題就是CSDN雞賊的跳轉酵颁。由于瀏覽器自帶了JS引擎，所以我們在瀏覽器中輸入網(wǎng)址月帝，到達頁面這一過程不一定就是一個請求躏惋。可能中間用了什么JS代碼先跳轉到中間頁面嚷辅，最后才跳轉到實際頁面簿姨。代碼里的_validate_redirect_url(self)函數(shù)就是干這個的，登錄完了第一次請求會得到一個中間頁面簸搞，它包含了一堆JS代碼扁位，其中有個重定向網(wǎng)址。我們獲取到這個重定向網(wǎng)址趁俊，還得請求一次域仇，獲得200OK之后，后續(xù)請求才能獲得實際頁面寺擂。
第三個問題就是正則表達式匹配頁面的空格問題了暇务。獲取文章首先得知道文章總數(shù)，這個好辦怔软，直接獲取頁面里的文章數(shù)就行了垦细。它類似100條 共20頁這個。那么該怎么獲取呢挡逼？一開始我用的(\d+)條 共(\d+)頁這個正則括改，但是結果沒匹配到，然后我仔細看了一下頁面家坎，原來這兩個詞之間不是一個空格叹谁，而是兩個空格！其實這個問題倒是也好辦乘盖，改一下正則(\d+)條\s*共(\d+)頁就行了焰檩。所以以后如果遇到空格問題，直接用\s匹配订框，不要想著自己輸入一個空格還是兩個空格析苫。
import requests
from bs4 import BeautifulSoup
import re
import urllib.parse as parse
class CsdnHelper:
"""登錄CSDN和列出所有文章的類"""
csdn_login_url = 'https://passport.csdn.net/account/login?ref=toolbar'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36',
}
blog_url = 'http://write.blog.csdn.net/postlist/'
def __init__(self):
self._session = requests.session()
self._session.headers = CsdnHelper.headers
def login(self, username, password):
'''登錄主函數(shù)'''
form_data = self._prepare_login_form_data(username, password)
response = self._session.post(CsdnHelper.csdn_login_url, data=form_data)
if 'UserNick' in response.cookies:
nick = response.cookies['UserNick']
print(parse.unquote(nick))
else:
raise Exception('登錄失敗')
def _prepare_login_form_data(self, username, password):
'''從頁面獲取參數(shù)，準備提交表單'''
response = self._session.get(CsdnHelper.csdn_login_url)
login_page = BeautifulSoup(response.text, 'lxml')
login_form = login_page.find('form', id='fm1')
lt = login_form.find('input', attrs={'name': 'lt'})['value']
execution = login_form.find('input', attrs={'name': 'execution'})['value']
eventId = login_form.find('input', attrs={'name': '_eventId'})['value']
form = {
'username': username,
'password': password,
'lt': lt,
'execution': execution,
'_eventId': eventId
}
return form
def _get_blog_count(self):
'''獲取文章數(shù)和頁數(shù)'''
self._validate_redirect_url()
response = self._session.get(CsdnHelper.blog_url)
blog_page = BeautifulSoup(response.text, 'lxml')
span = blog_page.find('div', class_='page_nav').span
print(span.string)
pattern = re.compile(r'(\d+)條\s*共(\d+)頁')
result = pattern.findall(span.string)
blog_count = int(result[0][0])
page_count = int(result[0][1])
return (blog_count, page_count)
def _validate_redirect_url(self):
'''驗證重定向網(wǎng)頁'''
response = self._session.get(CsdnHelper.blog_url)
redirect_url = re.findall(r'var redirect = "(\S+)";', response.text)[0]
self._session.get(redirect_url)
def print_blogs(self):
'''輸出文章信息'''
blog_count, page_count = self._get_blog_count()
for index in range(1, page_count + 1):
url = f'http://write.blog.csdn.net/postlist/0/0/enabled/{index}'
response = self._session.get(url)
page = BeautifulSoup(response.text, 'lxml')
links = page.find_all('a', href=re.compile(r'http://blog.csdn.net/u011054333/article/details/(\d+)'))
print(f'----------第{index}頁----------')
for link in links:
blog_name = link.string
blog_url = link['href']
print(f'文章名稱:《{blog_name}》 文章鏈接:{blog_url}')
if __name__ == '__main__':
csdn_helper = CsdnHelper()
username = input("請輸入用戶名")
password = input("請輸入密碼")
csdn_helper.login(username, password)
csdn_helper.print_blogs()
當然穿扳，這里最重要的的就是登錄過程了衩侥。我們登錄之后，才可以做其他事情矛物。比方說茫死，下一步還能寫一個備份工具，把CSDN博客的所有文章和圖片下載到本地履羞。有興趣的同學可以試一試峦萎。
