作業(yè)要求：
作業(yè)要求1.1
作業(yè)要求2
作業(yè)要求更改說(shuō)明：由于58同城頁(yè)面改版，二手商品的個(gè)人賣(mài)家均改為了“轉(zhuǎn)轉(zhuǎn)”沟蔑，因此春锋，本次爬蟲(chóng)作業(yè)矫膨，無(wú)法屏蔽轉(zhuǎn)轉(zhuǎn)賣(mài)家，而是直接從轉(zhuǎn)轉(zhuǎn)賣(mài)家的頁(yè)面爬取信息期奔。
我的代碼
from bs4 import BeautifulSoup
import requests
import time
import os
'''
本作業(yè)是完成爬取http://bj.58.com/shouji上的商品信息,最后將商品信息存在本地的.txt文件中
每個(gè)商品的共有一下屬性:
root : 商品路徑
title : 商品標(biāo)題
price : 商品當(dāng)前價(jià)格
view : 商品的訪問(wèn)次數(shù)
image : 商品封面圖片
area : 商品所屬地
qual_label : 商品的質(zhì)量標(biāo)簽
'''
def get_search_url(pageNum, who_sells, type = 'shouji'):
'''
用來(lái)生成一個(gè)搜索頁(yè)的URL
:param pageNum: 訪問(wèn)的頁(yè)碼
:param who_sells: 個(gè)人賣(mài)家以及商家賣(mài)家
:param type: 商品類(lèi)型
:return: URL的字符串
'''
url = 'http://bj.58.com/{}/{}/{}'\
.format(type, str(who_sells), 'pn'+str(pageNum))
return url
def get_links(url, headers):
'''
用來(lái)得到當(dāng)前搜索頁(yè)的所有商品鏈接
:param url: 當(dāng)前搜索頁(yè)的URL
:param headers: 本機(jī)的headers
:return: 一個(gè)list: 如果當(dāng)前搜索頁(yè)訪問(wèn)的狀態(tài)碼!=200,返回一個(gè)空l(shuí)ist
如果當(dāng)前搜索頁(yè)訪問(wèn)狀態(tài)碼== 200,返回由當(dāng)前頁(yè)所有商品的URL組成的list
'''
webSite = requests.get(url, headers)
urls = []
if webSite.status_code != 200 :
print('status_code : ', str(webSite.status_code),'\n', url, 'cannot open')
return urls
soup = BeautifulSoup(webSite.text, 'lxml')
links = soup.select('td.t > a.t')
for link in links:
urls.append(link.get('href'))
return urls
def get_sinlge_info(url, headers):
'''
用來(lái)得到一個(gè)商品的信息
:param url: 商品頁(yè)的URL
:param headers: 本機(jī)訪問(wèn)的headers
:return: 一個(gè)dictionary : 如果商品頁(yè)訪問(wèn)狀態(tài)碼 != 200, 返回空dictionary
如果狀態(tài)碼 == 200, 返回包含商品信息的dictionary
'''
webSite = requests.get(url, headers=headers)
single_info = {}
if webSite.status_code != 200:
#這里可以設(shè)置打印出錯(cuò)誤的狀態(tài)碼,便于調(diào)bug
return single_info # 如果狀態(tài)碼不是200,訪問(wèn)網(wǎng)頁(yè)會(huì)有一定問(wèn)題,則跳入下一次循環(huán)
soup = BeautifulSoup(webSite.text, 'lxml')
root = soup.select('div.breadCrumb')
title = soup.select('div.box_left_top > h1')
price = soup.select('span.price_now > i')
view = soup.select('span.look_time')
image = soup.select('div.g_img > span > img')
area = soup.select('div.palce_li > span > i')
qual_label = soup.select('div.quality > span > span.qual_label')
single_info = {
'root' : list(root[0].stripped_strings), # 商品路徑
'title': title[0].get_text(), # 商品標(biāo)題
'view' : int(view[0].get_text()[:-3]), # 訪問(wèn)次數(shù)
'price': float(price[0].get_text()), # 價(jià)格
'image': image[0].get('rel'), # 商品封面圖片
'area' : area[0].get_text(), # 商品區(qū)域
'qual_label': [label.get_text() for label in qual_label] # 商品質(zhì)量標(biāo)簽
}
return single_info
def get_info_from(pageNum = 1, who_sells = 0, type = 'shouji'):
'''
從 pageNum 中獲取 who_sells 銷(xiāo)售的 type 類(lèi)型商品信息
:param pageNum: 搜索頁(yè)的頁(yè)碼(默認(rèn)為第1頁(yè))
:param who_sells: 銷(xiāo)售的用戶類(lèi)型(默認(rèn)為個(gè)人賣(mài)家)
:param type: 商品類(lèi)型(默認(rèn)為手機(jī))
:return: 一個(gè)list, 每個(gè)元素為一個(gè)商品信息組成的dictionary
'''
headers = {
'User-Agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36',
'Cookie' : 'bj58_id58s="Rm9Ca1lhQU1Fd0ZROTA1NA=="; id58=c5/njVeK25sP1F/iJ71uAg==; als=0; myfeet_tooltip=end; bangbigtip2=1; ipcity=km%7C%u6606%u660E%7C0; sessionid=812ecc7d-5679-4b81-b3c5-bc6c57997b68; final_history=26097540789057%2C26727826953024%2C26697721819855%2C26062681492781; city=bj; 58home=bj; bj58_new_session=0; bj58_init_refer=""; bj58_new_uv=4; 58tj_uuid=6530a941-1013-4a74-b2a4-9f9781f6f4ca; new_session=0; new_uv=4; utm_source=; spm=; init_refer='
}
search_url = get_search_url(pageNum, who_sells, type) #獲取搜索頁(yè)的URL
links = get_links(search_url, headers = headers)
info = []
for link in links:
# time.sleep(2) #每訪問(wèn)一個(gè)網(wǎng)頁(yè)暫停一秒
try:
single_info = get_sinlge_info(url = link, headers = headers)
except requests.exceptions.ConnectionError as e:
print(e.__traceback__)
time.sleep(10)
if len(single_info) == 0: #如果網(wǎng)頁(yè)的response的狀態(tài)碼不是200,則get_sinlge_info返回空的dict
continue
info.append(single_info)
return info
def write_info(info, filename):
'''
將商品信息寫(xiě)入本地的filename中,為了降低I/O開(kāi)銷(xiāo),因此每訪問(wèn)完一個(gè)搜索頁(yè)所有的商品信息后再寫(xiě)入一次
:param filename: 本地的filename的絕對(duì)路徑
:param info: 多個(gè)商品信息組成的list
:return: void
'''
with open(filename,'a') as file:
for single_info in info:
file.write(str(single_info))
file.write('\n')
print('又完成了一頁(yè)')
def main():
filename = '/Users/xyh/Documents/python/python3/Week1/Week1_Homework/product.txt'
for pageNum in range(1,11):
info = get_info_from(pageNum = pageNum, who_sells=0, type='shouji')
write_info(info, filename)
if __name__ == '__main__':
main()
代碼寫(xiě)得有擴(kuò)展性：
get_info_from()函數(shù)設(shè)計(jì)得可以傳入侧馅，頁(yè)碼，賣(mài)家類(lèi)別呐萌，以及商品類(lèi)別馁痴，使得該函數(shù)不只適合本次作業(yè)，可以適合58同城的其他商品爬取
總結(jié)
- 由于58同城頁(yè)面的改版肺孤，瀏覽次數(shù)并不需要像作業(yè)詳解中的從JS文件中獲取罗晕，而是直接從html頁(yè)面中獲取，因此瀏覽次數(shù)并不復(fù)雜
- 封面圖片的鏈接赠堵，這次并不在<img>標(biāo)簽內(nèi)的“src”屬性中小渊，而是在“rel”屬性中
問(wèn)題：怎樣使得程序更健壯？
- 希望如果網(wǎng)頁(yè)如果不是正常打開(kāi)時(shí)茫叭，有更完備的解決方案酬屉。因?yàn)樵?8同城中，如果商品搜不到揍愁，返回的是58自己設(shè)計(jì)的404頁(yè)面呐萨，從瀏覽器看，這個(gè)頁(yè)面的狀態(tài)碼也是200吗垮。
- 希望可以設(shè)置一個(gè)功能垛吗，當(dāng)10s內(nèi)網(wǎng)頁(yè)沒(méi)有解析出來(lái)凹髓，就打印出相關(guān)信息烁登，并跳到下一頁(yè)。但是不知道怎么做。
- 希望能夠有老師能夠提供一些關(guān)于爬蟲(chóng)問(wèn)題的異常處理的方案饵沧，或者教程锨络，讓程序變得更健壯。
