學(xué)習(xí)內(nèi)容建炫，來源于百度搜索
工具及環(huán)境
1奶陈、python版本：python 3.7.3
2夸楣、安裝工具：beautifulsoup
3庄蹋、系統(tǒng)環(huán)境：Windows10
4赠法、瀏覽器：chrome
網(wǎng)頁分析
image.png
image.png
F12控制臺镰踏，根據(jù)頁面檢查前端源碼唯鸭，找到想要爬取內(nèi)容的對應(yīng)鏈接
關(guān)鍵分析
html = getHtml("http://www.zhrczp.com/jobs/jobs_list/key/%E5%BB%BA%E6%98%8E%E9%95%87/page/1.html")
soup = BeautifulSoup(html, 'lxml') #聲明BeautifulSoup對象
hrefbox = soup.find_all("div","td-j-name",True);
links = [];
for href in range(0,len(hrefbox)):
links.append("http://www.zhrczp.com"+hrefbox[href].contents[0].get('href'));#拼接鏈接
分析頁面哑了，頁面所有感興趣的內(nèi)容均在 div標(biāo)簽里面舱馅，可以使用beautifulsoup提供的find_all函數(shù)來查找
main = soup.find_all("div","main",True); 意思是查找div標(biāo)簽class為main的內(nèi)容
源碼
#!/usr/bin/python
# -*- coding: utf-8 -*-
import urllib.request
from bs4 import BeautifulSoup
def getHtml(url):
page = urllib.request.urlopen(url)
html = page.read()
return html
#建明鎮(zhèn)=%E5%BB%BA%E6%98%8E%E9%95%87
html = getHtml("http://www.zhrczp.com/jobs/jobs_list/key/%E5%BB%BA%E6%98%8E%E9%95%87/page/1.html")
soup = BeautifulSoup(html, 'lxml') #聲明BeautifulSoup對象
hrefbox = soup.find_all("div","td-j-name",True);
links = [];
for href in range(0,len(hrefbox)):
links.append("http://www.zhrczp.com"+hrefbox[href].contents[0].get('href'));#拼接鏈接
f=open('a.txt','w',encoding='utf-8')
for link in links:
print(link);
html = getHtml(link)
soup = BeautifulSoup(html, 'lxml') #聲明BeautifulSoup對象
main = soup.find_all("div","main",True);
f.write("\n***************************顯示招聘信息*************************************\n\n")
f.write("職位名稱:"+main[0].contents[1].contents[5].contents[1].contents[0]+"\n");#職位名稱
f.write("發(fā)布時(shí)間:"+main[0].contents[1].contents[3].contents[1].contents[0]+"\n");#發(fā)布時(shí)間
f.write("\n--------------------職位待遇--------------------\n");
f.write("工資:"+main[0].contents[1].contents[7].contents[0]+"\n");#wage
f.write("福利：");
for i in range(1,len(main[0].contents[1].contents[9].contents)-3):
f.write(main[0].contents[1].contents[9].contents[i].contents[0]+" ");
f.write("\n\n--------------------聯(lián)系方式--------------------\n")
f.write(main[0].contents[5].contents[3].contents[0].strip()+"\n");#聯(lián)系人 去掉空格
f.write(main[0].contents[5].contents[7].contents[0]+main[0].contents[5].contents[7].contents[1].contents[0]+"\n");#聯(lián)系電話
f.write("\n--------------------聯(lián)系描述--------------------\n")
describe = main[0].contents[7].contents;
f.write(describe[1].contents[0]+describe[3].contents[0]+"\n");#職位描述
item = soup.find_all("div","item",True);
f.write("\n--------------------職位要求--------------------\n");
f.write(item[0].contents[3].contents[0].contents[0]+":"+item[0].contents[3].contents[1]+"\n");#工作性質(zhì)
f.write(item[0].contents[5].contents[0].contents[0]+":"+item[0].contents[5].contents[1]+"\n");#職位類別
f.write(item[0].contents[7].contents[0].contents[0]+":"+item[0].contents[7].contents[1]+"\n");#招聘人數(shù)
f.write(item[0].contents[11].contents[0].contents[0]+":"+item[0].contents[11].contents[1]+"\n");#學(xué)歷要求
f.write(item[0].contents[13].contents[0].contents[0]+":"+item[0].contents[13].contents[1]+"\n");#工作經(jīng)驗(yàn)
f.write(item[0].contents[15].contents[0].contents[0]+":"+item[0].contents[15].contents[1]+"\n");#性別要求
f.write(item[0].contents[19].contents[0].contents[0]+":"+item[0].contents[19].contents[1]+"\n");#年齡要求
f.write(item[0].contents[21].contents[0].contents[0]+":"+item[0].contents[21].contents[1]+"\n");#招聘部門
f.write(item[0].contents[25].contents[0].contents[0]+":"+item[0].contents[25].contents[1]+"\n");#招聘部門
company = soup.find_all("div","cominfo link_gray6",True);
f.write("\n--------------------公司信息--------------------\n");
f.write(company[0].contents[3].contents[1].contents[0]+"\n");#公司名稱
f.write(company[0].contents[5].contents[0].contents[0]+":"+company[0].contents[5].contents[1]+"\n");#公司性質(zhì)
f.write(company[0].contents[7].contents[0].contents[0]+":"+company[0].contents[7].contents[1]+"\n");#公司行業(yè)
f.write(company[0].contents[9].contents[0].contents[0]+":"+company[0].contents[9].contents[1]+"\n");#公司規(guī)模
f.write(company[0].contents[11].contents[0].contents[0]+":"+company[0].contents[11].contents[1]+"\n");#公司地區(qū)
f.write("\n***************************結(jié)束招聘信息*************************************\n")
f.close();
運(yùn)行結(jié)果
image.png
image.png
