學習Python爬蟲的第一周拖刃，完成了爬取58同城個人二手列表頁中除轉轉和推廣商品之外的正常商品數據带猴。
最終成果是這樣的：
week1.png
我的代碼：
from bs4 import BeautifulSoup
import requests
import time
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.86 Safari/537.36'
}
# 獲得從第幾頁到第幾頁的所有詳情頁信息
def get_more_page(start, end):
urls = ['http://bj.58.com/pbdn/0/pn{}/?PGTID=0d305a36-0000-13b2-d376-d5d8f54e0130&ClickID=2'.format(str(i)) for i in
range(start, end)]
for url in urls:
get_detail_urls(url)
time.sleep(2)
page_links = []
# 獲得每一頁的所有詳情頁信息(除推廣商品\轉轉商品之外)
def get_detail_urls(url):
wb_data = requests.get(url, headers=headers)
soup = BeautifulSoup(wb_data.text, 'lxml')
detail_urls = soup.select('td.t > a.t')
for url in detail_urls:
if 'zhuanzhuan' in url.get('href'):
pass
elif 'jump.zhineng' in url.get('href'):
pass
else:
page_links.append(url.get('href'))
for link in page_links:
get_detail(link)
# 獲得某個詳情頁的瀏覽數
def get_views(url):
id = url.split('/')[-1].strip('x.shtml')
api = 'http://jst1.58.com/counter?infoid={}'.format(id)
js = requests.get(api)
views = js.text.split('=')[-1]
return views
# 獲得某個詳情頁的信息(類目category,標題title,發(fā)布時間release_time,價格price,成色state,區(qū)域area,瀏覽量views)
def get_detail(url):
wb_data = requests.get(url, headers=headers)
soup = BeautifulSoup(wb_data.text, 'lxml')
category = soup.select('div.breadCrumb.f12 > span:nth-of-type(3) > a')[0].text
title = soup.select('div.col_sub.mainTitle > h1')[0].text
release_time = soup.select('li.time')[0].text
price = soup.select('div.col_sub.sumary > ul > li:nth-of-type(1) > div.su_con > span')[0].text
state = soup.select('div.col_sub.sumary > ul > li:nth-of-type(2) > div.su_con > span')[0].text.strip()
if soup.find_all('span', 'c_25d'):
area = soup.select(' span.c_25d')[0].text.strip()
if '-' in area:
area = area.split('-')[0].strip() + '-' + area.split('-')[-1].strip()
else:
area = area
else:
area = None
data = {
'category': category,
'title': title,
'release_time': release_time,
'price': price,
'state': state,
'area': area,
'views': get_views(url)
}
print(data)
# 獲取1頁,除推廣商品和轉轉商品之外,所有商品詳情頁信息
get_more_page(1, 2)
總結：
- 了解了網頁的結構乏悄，客戶端與服務器交互的機制宪迟。對于一個網頁來說们豌，HTML描述了網頁的結構宵睦，CSS描述了網頁的樣式记罚，JavaScript描述了網頁的功能，而爬取網頁的要點是根據網頁結構描述元素的位置壳嚎。通過CSS Selector可以獲取元素的位置和屬性桐智。
- 學習了requests和beautifulsoup庫的基本用法。通過requests的get方法獲取HTML烟馅，并用beautiful soup解析網頁酵使，通過元素的唯一特征來獲得所需數據。
- 了解了異步加載的原理焙糟。對于異步加載的數據口渔，用抓包工具分析出異步請求的URL，點擊刷新網頁穿撮，觀察哪個url返回的值包含瀏覽量缺脉，然后拼接URL解析數據。
- 請求時可以通過傳入headers悦穿，偽造cookies模擬已登錄狀態(tài),改變user-agent模擬移動端的數據攻礼，來防止被反爬。同時針對大量數據的爬取應在每次請求之間加訪問延時以防止訪問頻率限制栗柒。
問題：
商品詳情頁中的瀏覽量礁扮，通過異步加載，如何判斷該屬性在哪個響應資源文件中?
瀏覽量的問題：通過在header中添加Referer瞬沦，Referer是header的一部分太伊，當瀏覽器向web服務器發(fā)送請求的時候，一般會帶上Referer逛钻，告訴服務器我是從哪個頁面鏈接過來的僚焦，服務器藉此可以獲得一些信息用于處理。這樣就可以反‘反盜鏈’了曙痘。
