這次的案例中我們會(huì)接觸到Ajax動(dòng)態(tài)加載的網(wǎng)頁(yè)，可以看到脓钾，包括下一頁(yè)等很多信息塊都沒(méi)有鏈接出線，所以就頁(yè)數(shù)遍歷上面就不能自己構(gòu)造了(雖然這不是重點(diǎn))，這里主要的難點(diǎn)是Ajax加載我們不能直接獲取到網(wǎng)頁(yè)的元數(shù)據(jù)宠进，可以發(fā)現(xiàn)在翻頁(yè)過(guò)程中網(wǎng)頁(yè)url并沒(méi)有發(fā)生變化，因?yàn)榇颂幉](méi)有將數(shù)據(jù)保存到其他網(wǎng)頁(yè)藐翎，這里就涉及到上面所說(shuō)的動(dòng)態(tài)加載了材蹬，這樣我們就需要自己去著手分析網(wǎng)頁(yè)內(nèi)容了
image.png
- 首先我們右鍵檢查，切換到network查看網(wǎng)頁(yè)回饋的信息吝镣，選擇此處的XHR還可以過(guò)濾掉不需要的數(shù)據(jù)堤器，勾選后面的diasble cache還可以禁止緩存(網(wǎng)站開(kāi)發(fā)中調(diào)試常用)，更多內(nèi)容可以自己去了解一下如何分析網(wǎng)頁(yè)以及Ajax工作原理
image.png
- 這里我們可以看到不止一項(xiàng)內(nèi)容指向網(wǎng)頁(yè)末贾，我們要如何來(lái)分析出我們所需的數(shù)據(jù)呢闸溃？
這里我們可以選擇preview，這里通常是網(wǎng)頁(yè)返回的一些數(shù)據(jù)拱撵，我們就從這里著手去查看有沒(méi)有網(wǎng)頁(yè)內(nèi)的數(shù)據(jù)源辉川，可以發(fā)現(xiàn)，這里的最后一項(xiàng)里面慢慢點(diǎn)開(kāi)有很多數(shù)據(jù)拴测，在很內(nèi)層的result里面就有剛好和網(wǎng)頁(yè)頁(yè)面數(shù)據(jù)數(shù)目匹配的項(xiàng)乓旗，仔細(xì)檢查的確是很類似，我們之后去選定這一條數(shù)據(jù)的Headers集索，去里面尋找我們需要的網(wǎng)頁(yè)真正的url
image.png
- 直接訪問(wèn)返回一些錯(cuò)誤屿愚，說(shuō)明肯定是遺漏了什么地方，我們?cè)俅尾榭磚rl
image.png
-
我們往下看抄谐，發(fā)現(xiàn)有額外的數(shù)據(jù)項(xiàng)出現(xiàn)渺鹦，我們url里面出現(xiàn)的很多參數(shù)這里也有出現(xiàn)，我們點(diǎn)擊下一頁(yè)查看參數(shù)變化蛹含，發(fā)現(xiàn)除了pn和first有變化外其他都是常值毅厚，不難猜出這是表示頁(yè)數(shù)和是否為首頁(yè)的參數(shù)
image.png - 所以我們?cè)谶@里可以構(gòu)造一個(gè)form_data用于驗(yàn)證，訪問(wèn)頭中也可以定義一些頭信息用于偽裝身份
headers = {
'Accept-Language': "zh-CN,zh;q=0.9",
'Host': 'www.lagou.com',
'User-Agent': "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36",
'Referer': "https://www.lagou.com/jobs/list_python?city=%E5%8C%97%E4%BA%AC&cl=false&fromSearch=true&labelWords=&suginput=",
'Cookie': "_ga=GA1.2.910872852.1537274650; _gid=GA1.2.551069079.1537274650; user_trace_token=20180918204408-89394348-bb40-11e8-a1fb-525400f775ce;"
" LGUID=20180918204408-89394691-bb40-11e8-a1fb-525400f775ce; index_location_city=%E5%8C%97%E4%BA%AC; "
"JSESSIONID=ABAAABAAADEAAFI9B8A5B922B0F62DE98F3D76FFB498FD3; Hm_lvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1537274650,1537343453;"
" LGSID=20180919155053-bbaaf688-bbe0-11e8-baf2-5254005c3644; "
"PRE_UTM=; PRE_HOST=; PRE_SITE=; PRE_LAND=https%3A%2F%2Fwww.lagou.com%2Fjobs%2Flist_python%3FlabelWords%3D%26fromSearch%3Dtrue%26suginput%3D; "
"Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1537343456; LGRID=20180919155055-bd698539-bbe0-11e8-a233-525400f775ce; TG-TRACK-CODE=search_code;"
" SEARCH_ID=d8d49e5d780449e4adf77e35cbf240a9",
'Accept': "application/json, text/javascript, */*; q=0.01",
'X-Anit-Forge-Code': "0",
'X-Anit-Forge-Token': None,
'X-Requested-With': 'XMLHttpRequest'
}
for x in range(1,31):
form_data = {
'first': 'false',
'pn': x,
'kd': 'python'
}
response = requests.post("https://www.lagou.com/jobs/positionAjax.json?city=%E5%8C%97%E4%BA%AC&needAddtionalResult=false", headers=headers, data=form_data)
-
之后我們更改一下頁(yè)數(shù)區(qū)間浦箱，簡(jiǎn)單打印一下網(wǎng)頁(yè)返回文本吸耿，將它json化看看效果
image.png - 仔細(xì)觀察的話不難看出和之前network中分析出的數(shù)據(jù)很像，json數(shù)據(jù)可以去到https://www.json.cn/#進(jìn)行分析壓縮展示
image.png - 這里的話我們就已經(jīng)獲取到了success這一級(jí)的數(shù)據(jù)酷窥，我們一級(jí)一級(jí)向下面獲取咽安，然后將positions數(shù)據(jù)添加到空列表中
json_result = response.json()
page_positions = json_result['content']['positionResult']['result']
#extend方法可以把一個(gè)列表添加到另一個(gè)列表
positions.extend(page_positions)
image.png
- 完整代碼
import requests
from bs4 import BeautifulSoup
import time
import json
def get_page():
headers = {
'Accept-Language': "zh-CN,zh;q=0.9",
'Host': 'www.lagou.com',
'User-Agent': "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36",
'Referer': "https://www.lagou.com/jobs/list_python?city=%E5%8C%97%E4%BA%AC&cl=false&fromSearch=true&labelWords=&suginput=",
'Cookie': "_ga=GA1.2.910872852.1537274650; _gid=GA1.2.551069079.1537274650; user_trace_token=20180918204408-89394348-bb40-11e8-a1fb-525400f775ce;"
" LGUID=20180918204408-89394691-bb40-11e8-a1fb-525400f775ce; index_location_city=%E5%8C%97%E4%BA%AC; "
"JSESSIONID=ABAAABAAADEAAFI9B8A5B922B0F62DE98F3D76FFB498FD3; Hm_lvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1537274650,1537343453;"
" LGSID=20180919155053-bbaaf688-bbe0-11e8-baf2-5254005c3644; "
"PRE_UTM=; PRE_HOST=; PRE_SITE=; PRE_LAND=https%3A%2F%2Fwww.lagou.com%2Fjobs%2Flist_python%3FlabelWords%3D%26fromSearch%3Dtrue%26suginput%3D; "
"Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1537343456; LGRID=20180919155055-bd698539-bbe0-11e8-a233-525400f775ce; TG-TRACK-CODE=search_code;"
" SEARCH_ID=d8d49e5d780449e4adf77e35cbf240a9",
'Accept': "application/json, text/javascript, */*; q=0.01",
'X-Anit-Forge-Code': "0",
'X-Anit-Forge-Token': None,
'X-Requested-With': 'XMLHttpRequest'
}
positions = []
for x in range(1,31):
form_data = {
'first': 'false',
'pn': x,
'kd': 'python'
}
response = requests.post("https://www.lagou.com/jobs/positionAjax.json?city=%E5%8C%97%E4%BA%AC&needAddtionalResult=false", headers=headers, data=form_data)
json_result = response.json()
page_positions = json_result['content']['positionResult']['result']
#extend方法可以把一個(gè)列表添加到另一個(gè)列表
positions.extend(page_positions)
time.sleep(3)
print("*************************")
print(page_positions)
def main():
get_page()
if __name__ == '__main__':
main()
大家可以著手去嘗試一下，中間有些問(wèn)題我就直接略過(guò)了蓬推，比如拉勾網(wǎng)的處理機(jī)制妆棒，給你一套假數(shù)據(jù)什么的(有夠坑)，所以大家一定要注意請(qǐng)求方法(get、post)糕珊，請(qǐng)求表單的提交等动分，還有對(duì)json數(shù)據(jù)的過(guò)濾等等
- 更多代碼詳情參考我的Github
