爬完魔方之后两残，再接再厲爬取自如和鏈家，然后...不出意外的又失敗了把跨！在向右老師和羽恒大神的拯救下人弓，終于把我從坑里挖了出來。雖然錯(cuò)的也還有點(diǎn)稀里糊涂的着逐，但前事不忘崔赌，后事之師。下面把遇到的坑簡單說一下耸别。
<h4>xpath找自如</h4>
首先找到自如友家杭州站的地址健芭，http://hz.ziroom.com/z/nl/z2.html
我覺得我也就是這個(gè)第一級的網(wǎng)址能找對了...
然后觀察網(wǎng)址，找需要的標(biāo)題太雨，地址和價(jià)格
下面是我寫的程序
...
infos=selector.xpath('div//li[@class="clearfix"]/div/')
list_dict=[]
for info in infos:
item={}
name=info.xpath('div/h3/a/text()')[0]
address=info.xpath('div/h4/a/text()')[0]
price=info.xpath('p/[@class="price"]/text()')[0]
當(dāng)時(shí)我的邏輯是吟榴，在chrome用小箭頭找到每個(gè)房源的地址，得到class=clearfix這一級囊扳，然后向下吩翻。然后標(biāo)題在txt下的“h3”處，地址在“h4”處锥咸，價(jià)格在另一個(gè)標(biāo)簽price處狭瞎。然后就試著寫下來，結(jié)果是運(yùn)行不出來....
大神的診斷：一個(gè)是需要請求頭偽裝搏予，另外就是地址還要取高一級熊锭，點(diǎn)選到所有的房源。
還有定位還不夠準(zhǔn)確，div要定到第二個(gè)碗殷，所以是div[2]精绎。價(jià)格這里，因?yàn)槎壗Y(jié)構(gòu)Infos已經(jīng)定位到價(jià)格锌妻，所以不要再寫class=price這些了代乃，直接用p[1]定位。
#coding:utf-8
import requests
from lxml import etree
import random
url='http://sz.ziroom.com/z/nl/z2.html'
def getReqHeaders():
"""
功能：隨機(jī)獲取HTTP_User_Agent
"""
user_agents=[
"Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36"]
user_agent = random.choice(user_agents)
req_headers={
'User-Agent':user_agent
}
return req_headers
html=requests.get(url,headers=getReqHeaders()).content
#print(html)
selector=etree.HTML(html)
infos=selector.xpath('//*[@id="houseList"]/li')
#print infos
list_dict=[]
for info in infos:
item={}
name=info.xpath('div[2]/h3/a/text()')[0]
address=info.xpath('div[2]/h4/a/text()')[0]
price=info.xpath('div[3]/p[1]/text()')[0]
print name, ' ',address, ' ',price
#item['name']=name
#item['address']=address
#item['price']=price
#list_dict.append(item)
#print list_dict
在地址向上一欄這里我糾結(jié)了很久仿粹，因?yàn)榕滥Х降臅r(shí)候搁吓，程工教路，取值就是從clearfix這里取的吭历，用小箭頭點(diǎn)選單個(gè)公寓列表得到堕仔。而自如這里改為id這一級，從所有公寓列表選取晌区。似乎邏輯不同呢摩骨，我要再好好想想...
html=requests.get(url).content
selector=etree.HTML(html)
infos=selector.xpath('//div[@class="orgs-room clearfix"]/div[2]')
for info in infos:
shop_name=info.xpath('p[@class="room-hd"]/a/text()')[0]
address=info.xpath('p[@class="address"]/text()')[0]
room_money=info.xpath('p[@class="room-money"]/strong/text()')[0].lstrip('均價(jià)：￥').rstrip('/月')
print shop_name,address,room_money
<h4>BeautifulSoup爬鏈家</h4>
試著用bs4爬鏈家，并且加上頁數(shù)的循環(huán)朗若。
其實(shí)鏈家的結(jié)構(gòu)是公認(rèn)很清晰的仿吞，用采集器爬的時(shí)候，什么跳轉(zhuǎn)都不用捡偏。但是自己一寫代碼，就馬上暴露學(xué)習(xí)的不足了...
自己寫的代碼峡迷，有兩個(gè)問題银伟，一個(gè)是爬出來的都是單一房源，另一個(gè)是列表绘搞，無法用text找到彤避。 比如寫成"address=lj.find_all('div',attrs={'class':'address'}).text"就會報(bào)錯(cuò)。
（前略）
url='http://gz.lianjia.com/ershoufang/'
for i in range(1,2):
i=str(i)
a=(url+'pg'+i+'/')
html=requests.get(url=a).text
lista=[]
lj=BeautifulSoup(html, "lxml")
infos=lj.find_all('div',attrs={'class':'info clear'})
for info in infos:
item={}
title=lj.find_all('div',attrs={'class':'title'})
print type(title)
address=lj.find_all('div',attrs={'class':'address'})
price=lj.find_all('div',attrs={'class':'totalPrice'})
（以下略）
下面是向右老師改的代碼：
import requests
from bs4 import BeautifulSoup
url='http://bj.lianjia.com/ershoufang/'
for i in range(1,3):
i=str(i)
a=(url+'pg'+i+'/')
print a
html=requests.get(url=a).content
lj=BeautifulSoup(html, "html.parser")
for info in lj.find_all('div', attrs={'class': 'info clear'}):
title = info.select('div.title > a')[0].get_text()
print title
price = info.select('div.priceInfo > div > span')[0].text
print price
loc = info.select('div.flood > div')[0].text
print loc
原因是夯辖，一個(gè)是沒有把爬頁數(shù)和下面的每頁信息形成嵌套關(guān)系琉预，所以爬出來的結(jié)果都是一樣的；第二個(gè)還是網(wǎng)頁結(jié)構(gòu)沒把握好蒿褂，"class:info clear"這個(gè)二級結(jié)構(gòu)倒是找到了圆米，但是向右老師建議下面應(yīng)該用select，find找到的是一類標(biāo)簽啄栓，用來定位比較復(fù)雜娄帖。select的好處，就是可以一層一層的找到標(biāo)簽昙楚。
比如總價(jià)'div.priceInfo > div > span'這里近速，也可以寫成'div.priceinfo > div.totalPrice > span'，span沒有屬性。
這樣就比attr要清楚很多削葱。
這個(gè)周末總算把兩個(gè)網(wǎng)站結(jié)構(gòu)又弄清楚了（雖然80%都是別人的功勞＝毖恰）。另外看了天善智能邱祐瑋的爬蟲視頻析砸∥糇郑看視頻的時(shí)候覺得好簡單啊，自己做的時(shí)候怎么就那么復(fù)雜干厚！
第二級結(jié)構(gòu)該取哪一級李滴，還要好好弄明白。
第三級結(jié)構(gòu)的定位蛮瞄，每次的排列組合所坯，搞得我都沒信心了，還是人品+技術(shù)問題挂捅，要練習(xí)再練習(xí)芹助！
