又一年的畢業(yè)季來(lái)臨了坟奥,一大波大學(xué)生加入了找工作的大軍入撒,給這些新加入職場(chǎng)的學(xué)生們提供寶貴的招聘的信息荆烈,通過(guò)python爬取拉勾網(wǎng)的招聘的數(shù)據(jù)诈胜。
拉勾網(wǎng)的鏈接是https://www.lagou.com/幕随,先爬取各崗位的鏈接地址蚁滋,例如java崗位
找到html代碼的標(biāo)簽的位置
獲取不同崗位的具體代碼:
接下來(lái)獲取JAVA等崗位的具體信息,具體獲取崗位名稱赘淮,公司名稱辕录,薪水,地區(qū)梢卸,公司類型這幾個(gè)主要的信息走诞。
找到具體想要獲取信息的html標(biāo)簽的位置
獲取java等不同崗位的具體信息的代碼:
完整代碼貼在下面,采用了BeautifulSoup這個(gè)包:
最終爬取的數(shù)據(jù)存儲(chǔ)到excel中了蛤高,效果是:
后續(xù)將對(duì)數(shù)據(jù)進(jìn)行分析蚣旱,統(tǒng)計(jì)不同地區(qū)的薪水等……