前言：
這篇文章是真正的干貨骚揍，我會(huì)盡力的把自己所要表達(dá)的東西表達(dá)出來。這次所完成的小程序缺點(diǎn)第一，不符合python面向?qū)ο蟮乃枷搿５诙杵荆瑬|西沒有做到函數(shù)化，而且挺多參數(shù)都是寫死的吟吝。本人也是做中學(xué)蚓胸，下次再寫會(huì)盡力讓它完美一些。
目標(biāo)：
本人最近新有了一個(gè)ipad mini蓖捶，體會(huì)到了蘋果公司科技的力量地回，怪不得果粉這么多。（ipad用wps看pdf書籍真的好用俊鱼，一般人我不告訴他刻像。不過希望大家還是買正版書，紙質(zhì)書真的比電子的強(qiáng)）并闲。所以想獲得二手平板的信息细睡，去吧就決定是你了：
58同城：http://bj.58.com/pbdn/0/pn1/
我們要爬取這個(gè)頁(yè)面的所有個(gè)人的信息
點(diǎn)進(jìn)去
我們要：標(biāo)題，價(jià)格帝火，時(shí)間溜徙，地點(diǎn)湃缎，商家還是個(gè)人。
為了完成這個(gè)小工程蠢壹，我們需要引入幾個(gè)第三方庫(kù)：lxml嗓违，requests，BeautifulSoup知残。這幾個(gè)庫(kù)的用法請(qǐng)自行查閱官方文檔靠瞎，首先在最開始import所要用的庫(kù)
from bs4 import BeautifulSoup
import requests
然后通過觀察頁(yè)面網(wǎng)址的變化:
聰明的你一定發(fā)現(xiàn)了，商家和個(gè)人的區(qū)別就在于網(wǎng)址的一處變化求妹，商家為http://bj.58.com/pbdn/1/個(gè)人為http://bj.58.com/pbdn/0/乏盐，所以寫一個(gè)簡(jiǎn)單的函數(shù)：
def who_sell(who_sells=0):
??? list_view ='http://bj.58.com/pbdn/{}/pn1/'.format(str(who_sells))
??? return list_view
通過你改變函數(shù)參數(shù)，返回一個(gè)字符串制恍，這里參數(shù)0就是個(gè)人1是商家父能，0為默認(rèn)參數(shù)。接下來就是選出這個(gè)頁(yè)面中你想要的信息的連接：
main_url = who_sell(0)???????????????????????????????????????????????????? ?? (1)
web_data = requests.get(main_url)????????????????????????????????????? (2)
soup = BeautifulSoup(web_data.text,'lxml')?????????????? ?? ??????? (3)
select = soup.select('td.t a.t')????????????????????????????????????? ? ?????? (4)
leimu = who_sell(0)[:22]????????????????????????????????????????????? ? ????? (5)
print(leimu)???????????????????????????????????????????????????????????????????????? (6)
page_link = []????????????????????????????????????????????????????????????????????? (7)
for href in select:
? ? page_link.append(href.get('href'))? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? (8)
（1）：我們先通過調(diào)用函數(shù)選中個(gè)人净神，返回一個(gè)網(wǎng)址何吝，復(fù)制給main_url
（2）：通過向這個(gè)選中的網(wǎng)址發(fā)送request請(qǐng)求，把得到的結(jié)果賦值給web_data
（3）：對(duì)web_data的文本通過bs進(jìn)行解析
（4）：通過select函數(shù)選出你想要的東西鹃唯，而‘td.t a.t’這個(gè)的來源先請(qǐng)看圖：
在你想要看的元素上面右鍵，檢查:
學(xué)過網(wǎng)頁(yè)的小伙伴很快就能明白坡慌，這其中的奧秘黔酥，如果一臉霧水的小伙伴就可以看一下HTML5以及css的知識(shí)，這里個(gè)人推一下w3school 洪橘」蛘撸看完這個(gè)，這里的東西就會(huì)很輕松讀懂熄求。觀察之后你會(huì)發(fā)現(xiàn)渣玲，我們所需要的東西在一個(gè)<td class="t"><a href="所要去的網(wǎng)址" class="t"></a></td>之中，我們要把href提取出來弟晚，所以我們select之中的差數(shù)即為‘td.t a.t’忘衍。這里的點(diǎn)可以理解為td的標(biāo)簽下 class=‘t’。通過這個(gè)唯一標(biāo)識(shí)卿城，我們就能get到想要的東西
（5）：返回類目淑履，也就是我們爬取的根網(wǎng)頁(yè)，這個(gè)并不是我們想要的東西藻雪，只是方便將來我看爬取的東西是什么。用了切片切取了網(wǎng)頁(yè)的前22位狸吞。（6）：打印出來類目
（7）：創(chuàng)建一個(gè)list勉耀，用來存放網(wǎng)址
（8）：把獲取的網(wǎng)址添加到list中去
現(xiàn)在我們已經(jīng)有了具體的網(wǎng)址指煎，接下來我們要爬取具體信息了：
for url inpage_link:??? inf = requests.get(url)
??? inf_soup = BeautifulSoup(inf.text,'lxml')
??? titles = inf_soup.select('div.col_sub.mainTitle > h1')
??? times = inf_soup.select('li.time')
??? prices = inf_soup.select('div.su_con > span.price')
??? places = inf_soup.select('div.su_con > span.c_25d')
??? if titles==[]:
??????? title=['null']
??? else:
?? ? ?? title=titles[0].get_text()
??? if times == []:
??????? time = ['空']
??? else:
??????? time = times[0].text
??? if prices == []:
??????? price = ['null']
??? else:
??????? price= prices[0].text
??? if places == []:
??????? place = ['null']
??? else:
??????? place = places[0].text[1:3]+places[0].text[-3:-1]
??? data = {
??? 'title': title,
??? 'time': time,
??? 'price': price,
??? 'places': place,
??? '類型':'個(gè)人'if(main_url[22:23] =='0')else'商家'
?}
??? if(title!=['null']):
?? ? ?? print(data)
for循環(huán)的意思即為，遍歷list中所有的網(wǎng)址便斥。
inf = requests.get(url)
inf_soup = BeautifulSoup(inf.text,'lxml')
titles = inf_soup.select('div.col_sub.mainTitle > h1')
times = inf_soup.select('li.time')
prices = inf_soup.select('div.su_con > span.price')
places = inf_soup.select('div.su_con > span.c_25d')
同get到href的方法至壤，右鍵檢查
以價(jià)格為例枢纠，在class='su_con'的子標(biāo)簽中他的clss='price c_f50',我們根據(jù)這個(gè)就可以提取出來所想要的信息像街。
if titles==[]:
title=['null']
else:
title=titles[0].get_text()
if times == []:
time = ['空']
else:
time = times[0].text
if prices == []:
price = ['null']
else:
price= prices[0].text
if places == []:
place = ['null']
else:
place = places[0].text[1:3]+places[0].text[-3:-1]
在這些if語(yǔ)句中，如果賣家沒填這些信息晋渺，我們把他設(shè)為空镰绎，如果填了我們就用.text方法把兩個(gè)標(biāo)簽之間夾的信息提取出來，例如price里的3000木西。這里的地址使用了切片因?yàn)樘崛〕鰜淼男畔⒑写罅康膿Q行符畴栖。所以切取想要的部分，并用加號(hào)連接八千。
data = {
'title': title,
'time': time,
'price': price,
'places': place,
'類型':'個(gè)人'if(main_url[22:23] =='0')else'商家'
}
if(title!=['null']):
??? print(data)
把提取的信息存放到一個(gè)叫data的字典里吗讶。這里有一個(gè)問題，直接輸出字典會(huì)出現(xiàn)全空的網(wǎng)頁(yè)恋捆，所以這里通過過濾title的方法來過濾掉沒用的信息照皆。我們可以看一下結(jié)果：
最后：
就是這樣~是不是感覺還可以。這只是一個(gè)簡(jiǎn)單的版本沸停，有興趣的小伙伴可以把整個(gè)北京的信息都爬取下來膜毁，可以做一些簡(jiǎn)單的數(shù)據(jù)處理。只需要在加一個(gè)循環(huán)即可星立。
可以加博主qq：844255371 咱們共同研究爽茴，記得附上備注簡(jiǎn)書。
博主臉皮中等厚度绰垂，記得文明探討最后的最后室奏，附上github，ipad.py就是源代碼劲装。github?
