Ajax數(shù)據(jù)爬取實(shí)戰(zhàn)--以拉勾網(wǎng)為例

寫在最前面:

本文只做學(xué)習(xí)交流用筝野,請(qǐng)勿惡意使用相關(guān)代碼
測(cè)試代碼,注意限制請(qǐng)求次數(shù)
測(cè)試代碼粤剧,注意限制請(qǐng)求次數(shù)
測(cè)試代碼歇竟,注意限制請(qǐng)求次數(shù)
重要的事情說三遍。抵恋。焕议。


一、判斷一個(gè)網(wǎng)站是否采用Ajax動(dòng)態(tài)加載數(shù)據(jù)

  1. 網(wǎng)頁(yè)未刷新(URL未改變)弧关,網(wǎng)頁(yè)內(nèi)容發(fā)生變化
  2. Ajax的請(qǐng)求一般都會(huì)帶上X-Requested-With頭域盅安。
  3. 在請(qǐng)求列表中找到包含“Ajax.json”字符的請(qǐng)求
Ajax動(dòng)態(tài)加載頁(yè)面.png

二、爬取Ajax動(dòng)態(tài)加載數(shù)據(jù)的兩種方式:

  1. 直接分析ajax調(diào)用的接口,然后通過代碼請(qǐng)求這個(gè)接口
  2. 使用selenium+driver(瀏覽器驅(qū)動(dòng))模擬瀏覽器行為獲取數(shù)據(jù)

三世囊、爬取拉勾網(wǎng)Python相關(guān)職位信息示例代碼:

1.導(dǎo)入相關(guān)庫(kù)

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

import requests
from lxml import etree
import time
import re
import csv
import random

2.解析頁(yè)面别瞭,獲取職位數(shù)據(jù)

def parse_detail_position(page_html):
    '''解析詳情頁(yè)面,返回一個(gè)職位的信息字典'''
    html = etree.HTML(page_html)
    department = html.xpath('//div[@class="position-head"]//div[@class="company"]/text()')[0].strip()
    job_name = html.xpath('//div[@class="position-head"]//span[@class="name"]/text()')[0].strip()

    salary = html.xpath('//dd[@class="job_request"]/p/span[1]/text()')[0].strip()
    city = html.xpath('//dd[@class="job_request"]/p/span[2]/text()')[0].strip()
    city = re.sub(r'[/ ]', '', city)

    work_year = html.xpath('//dd[@class="job_request"]/p/span[3]/text()')[0].strip()
    work_year = re.sub(r'[/ ]', '', work_year)

    educ = html.xpath('//dd[@class="job_request"]/p/span[4]/text()')[0].strip()
    educ = re.sub(r'[/ ]', '', educ)

    categroy = html.xpath('//dd[@class="job_request"]/p/span[5]/text()')[0].strip()

    job_request = html.xpath('//dd[@class="job_request"]/ul[@class="position-label clearfix"]//text()')
    job_request = [i.strip() for i in job_request]
    job_request = ' '.join(job_request)

    publish_time = html.xpath('//dd[@class="job_request"]/p[@class="publish_time"]/text()')[0].strip()
    publish_time = re.match(r'(.+)\xa0',publish_time).group(1)

    job_advantage = html.xpath('//div[@class="content_l fl"]//dd[@class="job-advantage"]//text()')
    job_advantage = [i.strip() for i in job_advantage]
    job_advantage = ''.join(job_advantage)

    job_bt = html.xpath('//dl[@id="job_detail"]/dd[@class="job_bt"]//text()')
    job_bt = [i.strip() for i in job_bt]
    job_bt = ''.join(job_bt)

    work_addr = html.xpath('//div[@class="content_l fl"]//div[@class="work_addr"]//text()')
    work_addr = [i.strip() for i in work_addr]
    work_addr = work_addr[: -1]
    work_addr = ''.join(work_addr)

    company_name = html.xpath('//div[@class="content_r"]//img[@class="b2"]/@alt')[0].strip()
    company_info = html.xpath('//div[@class="content_r"]//ul[@class="c_feature"]//text()')
    company_info = [i.strip() for i in company_info]
    company_info.reverse()
    company_info = ''.join(company_info)

    job = {
        'department':department,
        'job_name':job_name,
        'salary':salary,
        'city':city,
        'work_year':work_year,
        'educ':educ,
        'categroy':categroy,
        'job_request':job_request,
        'publish_time':publish_time,
        'job_advantage':job_advantage,
        'job_bt':job_bt,
        'work_addr':work_addr,
        'company_name':company_name,
        'company_info':company_info
    }

    return job

3-2. 直接分析ajax調(diào)用的接口,請(qǐng)求這個(gè)接口爬取數(shù)據(jù)
拉勾網(wǎng)的反爬蟲機(jī)制是基于cookies的株憾,同一個(gè)cookies僅可以重復(fù)幾次請(qǐng)求蝙寨,應(yīng)該是有時(shí)間方面的限制。嘗試使用代理IP也不行嗤瞎,可能cookies與IP進(jìn)行了綁定墙歪。且直接請(qǐng)求ajax接口的方式,很容易被發(fā)現(xiàn)是爬蟲而被封贝奇。下面的爬蟲代碼爬取兩三頁(yè)的數(shù)據(jù)便會(huì)被識(shí)別出來(lái)而被封虹菲。

def main():
    sess = requests.session()
    
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHT\
            ML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
        'Referer': 'https://www.lagou.com/jobs/list_Python?px=default&city=%E5%85%A8%E5%9B%BD',

        'Host': 'www.lagou.com',
        'Origin': 'https://www.lagou.com',

        'X-Anit-Forge-Code': '0',
        'X-Anit-Forge-Token': 'None',
        'X-Requested-With': 'XMLHttpRequest'
    }

    data = {
        'first': 'false',
        'pn': '1',
        'kd': 'python爬蟲'
    }

    url = 'https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false'

    jobs = []   #存儲(chǔ)所有職位信息
    for page in range(1,26):
        data['pn'] = page
        response = sess.post(url=url, headers=headers, data=data)
        print('獲取到的cookies:', sess.cookies.get_dict())  # 測(cè)試

        page_html = response.text

        # 獲取職位ID
        positionIds = re.findall(r'"positionId":(\d{7})', page_html)

        for positionId in positionIds:
            
            try:
                # 拼接成職位詳情頁(yè)鏈接
                position_link = 'https://www.lagou.com/jobs/%s.html'%positionId
                response = sess.get(url=position_link, headers=headers)

                detail_page_html = response.text
                job = parse_detail_position(detail_page_html)
                jobs.append(job)
                print(job)  # 測(cè)試
            except Exception:
                print('錯(cuò)誤鏈接',position_link)
                positionIds.append(positionId)

            #隨機(jī)停頓幾秒
            n = random.uniform(0.5, 3.5)
            time.sleep(n)

    return jobs

3-2. 使用selenium驅(qū)動(dòng)瀏覽器爬取數(shù)據(jù)
使用selenium+chromedriver就可以避開拉勾網(wǎng)的反爬機(jī)制。

def main():

    driver = webdriver.Chrome()
    url = 'https://www.lagou.com/zhaopin/Python/?labelWords=label'
    driver.get(url)

    # 存儲(chǔ)所有的職位信息
    jobs = []
    while True:
        #直接通過WebElement對(duì)象獲取屬性(職位的詳情鏈接)
        position_a = driver.find_elements_by_xpath('//a[@class="position_link"]')
        position_links = [a.get_attribute('href') for a in position_a]

        # 打開新窗口
        driver.execute_script('window.open()')
        # 切換到新窗口
        driver.switch_to.window(driver.window_handles[-1])

        for position_link in position_links:

            #連續(xù)訪問詳情頁(yè)有時(shí)會(huì)返回異常頁(yè)面,導(dǎo)致解析報(bào)錯(cuò)
            try:
                driver.get(position_link)
                page_html = driver.page_source
                job = parse_detail_position(page_html)
                jobs.append(job)
            except Exception:
                print('異常鏈接',position_link)
                #錯(cuò)誤鏈接重新放回
                position_links.append(position_link)

            # 每詳情頁(yè)停頓
            n = random.uniform(0.2, 1)  # 均勻分布
            time.sleep(n)

            # break  #測(cè)試
            print(position_link)  #測(cè)試


        #關(guān)閉當(dāng)前詳情頁(yè)面
        driver.close()
        #切換列表頁(yè)窗口,注意:雖然詳情頁(yè)窗口已經(jīng)關(guān)閉,但仍然需要顯式的切換回列表頁(yè)窗口!selenium不會(huì)自動(dòng)切換窗口的掉瞳!
        driver.switch_to.window(driver.window_handles[0])

        #顯式等待;元素出現(xiàn)才獲取
        next_page = WebDriverWait(driver,30).until(
            EC.presence_of_element_located((By.XPATH, '//div[@class="pager_container"]/a[last()]'))
        )

        # 判斷是否到最后一頁(yè),此時(shí)下一頁(yè)不可點(diǎn)擊
        if next_page.get_attribute('class') == 'page_no pager_next_disabled':
            break

        next_page.click()  #點(diǎn)擊下一頁(yè)

        #每列表頁(yè)停頓
        n = random.uniform(0.5,2)  #均勻分布
        time.sleep(n)

        break  #測(cè)試
    driver.quit()  #關(guān)閉瀏覽器

    return jobs
  1. 啟動(dòng)爬蟲毕源,并將數(shù)據(jù)寫入csv文件
if __name__ == '__main__':

    jobs = main()

    headers = ['department','job_name','salary','city','work_year','educ',\
            'categroy','job_request','publish_time','job_advantage','job_bt',\
            'work_addr','company_name','company_info']

    with open('lagou.csv','w',encoding='utf-8',newline='') as fp:
        writer = csv.DictWriter(fp,headers)
        writer.writeheader()
        writer.writerows(jobs)

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末髓帽,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子脑豹,更是在濱河造成了極大的恐慌郑藏,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,464評(píng)論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件瘩欺,死亡現(xiàn)場(chǎng)離奇詭異必盖,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)俱饿,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,033評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門歌粥,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人拍埠,你說我怎么就攤上這事失驶。” “怎么了枣购?”我有些...
    開封第一講書人閱讀 169,078評(píng)論 0 362
  • 文/不壞的土叔 我叫張陵嬉探,是天一觀的道長(zhǎng)。 經(jīng)常有香客問我棉圈,道長(zhǎng)涩堤,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 59,979評(píng)論 1 299
  • 正文 為了忘掉前任分瘾,我火速辦了婚禮胎围,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘德召。我一直安慰自己白魂,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,001評(píng)論 6 398
  • 文/花漫 我一把揭開白布上岗。 她就那樣靜靜地躺著福荸,像睡著了一般曲尸。 火紅的嫁衣襯著肌膚如雪洞难。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,584評(píng)論 1 312
  • 那天蝙云,我揣著相機(jī)與錄音捆等,去河邊找鬼滞造。 笑死,一個(gè)胖子當(dāng)著我的面吹牛栋烤,可吹牛的內(nèi)容都是我干的谒养。 我是一名探鬼主播,決...
    沈念sama閱讀 41,085評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼买窟!你這毒婦竟也來(lái)了丰泊?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 40,023評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤始绍,失蹤者是張志新(化名)和其女友劉穎瞳购,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體亏推,經(jīng)...
    沈念sama閱讀 46,555評(píng)論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡学赛,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,626評(píng)論 3 342
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了吞杭。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片盏浇。...
    茶點(diǎn)故事閱讀 40,769評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖芽狗,靈堂內(nèi)的尸體忽然破棺而出绢掰,到底是詐尸還是另有隱情,我是刑警寧澤童擎,帶...
    沈念sama閱讀 36,439評(píng)論 5 351
  • 正文 年R本政府宣布滴劲,位于F島的核電站,受9級(jí)特大地震影響柔昼,放射性物質(zhì)發(fā)生泄漏哑芹。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,115評(píng)論 3 335
  • 文/蒙蒙 一捕透、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧碴萧,春花似錦乙嘀、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,601評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至曹质,卻和暖如春婴噩,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背羽德。 一陣腳步聲響...
    開封第一講書人閱讀 33,702評(píng)論 1 274
  • 我被黑心中介騙來(lái)泰國(guó)打工几莽, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人宅静。 一個(gè)月前我還...
    沈念sama閱讀 49,191評(píng)論 3 378
  • 正文 我出身青樓章蚣,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親姨夹。 傳聞我的和親對(duì)象是個(gè)殘疾皇子纤垂,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,781評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容