1.首先:明確目標(biāo)
進(jìn)入http://bj.xiaozhu.com/闰渔,然后進(jìn)入詳情頁(yè)中爬取標(biāo)題、地址铐望、日租金冈涧、第一張房源圖片鏈接、房東圖片鏈接正蛙、房東性別等6個(gè)信息督弓,最終是要爬取300個(gè)房源的這6個(gè)信息
列表頁(yè)
?
詳情頁(yè)
2.確認(rèn)抓取邏輯
? 2.1首先,我們得知道列表頁(yè)從第1頁(yè)到第N頁(yè)的鏈接規(guī)律乒验,然后遍歷它
? 2.2其次愚隧,我們要知道列表頁(yè)中詳情頁(yè)的鏈接地址,這樣我們才能從列表頁(yè)中進(jìn)入詳情頁(yè)爬取信息
? 2.3然后徊件,我們得爬取詳細(xì)頁(yè)中的6個(gè)信息奸攻,因?yàn)樾詣e信息不是我們常見(jiàn)的‘female’和‘male'蒜危,所以要對(duì)其進(jìn)行轉(zhuǎn)化
理清楚了邏輯之后虱痕,我們開(kāi)始寫(xiě)代碼
3.我所寫(xiě)的代碼
1
2
運(yùn)行的部分結(jié)果為:
運(yùn)行的部分結(jié)果
至此,要爬取的信息就到手了辐赞!