課程作業(yè)
- 選擇第二次課程作業(yè)中選中的網址
- 爬取該頁面中的所有可以爬取的元素哗讥，至少要求爬取文章主體內容
- 可以嘗試用lxml爬取
在完成這節(jié)課的過程中遇到許多問題：
- 環(huán)境問題：電腦安裝的是python 3.x，老師的demo使用python2.7，如何在anaconda中進行環(huán)境切換宵喂。
在anaconda中切換py2和py3
conda create env_name list of packages
conda create -n py2 python=2.7 pandas
進入名為env_name的環(huán)境
source activate env_name
退出當前環(huán)境
source deactivate
在windows系統中，使用activate env_name 和 deactivate env_name進入和退出
刪除名為env_name的環(huán)境
conda env romove -n env_name
顯示所有環(huán)境
conda env list
使用pip安裝對應的模塊：
使用pip安裝相關模塊時今阳，所有的模塊都被安裝到python3.x目錄下面饥臂，網上查了很多資料，還是沒有解決該問題似踱，只好用一個很傻的方法隅熙，將python3.x卸載，只使用python2.7核芽，這樣使用pip安裝模塊時囚戚，所有模塊會被安裝到python2.7環(huán)境中。jupyter notebook環(huán)境切換：
創(chuàng)建python2.7環(huán)境
conda create -n ipykernel_py2 python=2 ipykernel # 創(chuàng)建Python2環(huán)境
source activate ipykernel_py2 # 進入該環(huán)境
python -m ipykernel install --user # 使python2 kernel 在jupyter中新建notebook時顯示閱讀beautifulsoup4文檔：
- BeautifulSoup模塊：第一個參數應該是要被解析的文檔字符串或是文件句柄,第二個參數用來標識怎樣解析文檔.要解析的文檔類型: 目前支持, “html”, “xml”, 和 “html5”
- 從文檔中找到所有<a>標簽的鏈接:
for link in soup.find_all('a'):
print link.get('href')
- find_all()與find()用法：
- find_all( name , attrs , recursive , text , **kwargs )
- name 參數轧简，可以查找所有名字為 name 的tag,字符串對象會被自動忽略掉.
- keyword 參數驰坊，如果一個指定名字的參數不是搜索內置的參數名,搜索時會把該參數當作指定名字tag的屬性來搜索,如果包含一個名字為 id 的參數,Beautiful Soup會搜索每個tag的”id”屬性.
- text 參數，通過 text 參數可以搜搜文檔中的字符串內容.與 name 參數的可選值一樣, text 參數接受 字符串 , 正則表達式 , 列表, True
- recursive 參數哮独，調用tag的 find_all() 方法時,Beautiful Soup會檢索當前tag的所有子孫節(jié)點,如果只想搜索tag的直接子節(jié)點,可以使用參數 recursive=False
- find( name , attrs , recursive , text , **kwargs )
- 區(qū)別：find_all() 方法的返回結果是值包含一個元素的列表,而find()方法直接返回結果拳芙；find_all() 方法沒有找到目標是返回空列表, find() 方法找不到目標時,返回 None。
- find_all( name , attrs , recursive , text , **kwargs )
作業(yè)
導入庫
import os ## os模塊包含普遍的操作系統功能
import time ## time時間模塊
import urllib2 ## 可用于頁面下載皮璧，身份驗證舟扎，提交表格等，支持非http協議
import urlparse ##
from bs4 import BeautifulSoup ## 解析網頁悴务，提供定位內容的便捷接口
下載指定頁面的html函數download
def download(url, retry=2):
"""
下載頁面的函數睹限，會下載完整的頁面信息
:param url: 要下載的url
:param retry: 重試次數
:reutrn: 原生html
"""
print "downloading:",url
# 設置header信息，模擬瀏覽器請求
header = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.98 Safari/537.36'
}
try: #爬去可能會失敗，采用try-expect方式來捕獲處理
request = urllib2.Request(url, headers = header)
html = urllib2.urlopen(request).read() #抓取url
# except urllib.error.URLError as e: #異常處理
except urllib2.URLError as e:
print "download error:", e.reason
html = None
if retry > 0: #未超過重試次數羡疗，可以繼續(xù)爬取
if hasattr(e, 'code') and 500 <= e.code <600: #錯誤碼范圍染服，是請求出錯才繼續(xù)重試爬取
print e.code
return download(url, retry - 1)
time.sleep(1) #等待1s，避免對服務器造成壓力叨恨，也避免被服務器屏蔽爬取
return html
下載指定頁面的內容柳刮，并將其存入.txt
def crawled_page(crawled_url):
"""
爬取文章內容
param crawled_url: 需要爬取的頁面地址集合
"""
html = download(crawled_url)
soup = BeautifulSoup(html, "html.parser")
title = soup.find('h1', {'class': 'title'}).text #獲取文章標題
content = soup.find('div', {'class': 'show-content'}).text #獲取文章內容
if os.path.exists('spider_res/') == False: #檢查保存文件的地址
os.mkdir('spider_res')
file_name = 'spider_res/' + title + '.txt' #設置要保存的文件名
file = open(file_name, 'wb') #寫文件
content = unicode(content).encode('utf-8', errors='ignore')
file.write(content)
file.close()
調用函數
url = "http://www.reibang.com/p/4a8749704ebf"
download(url)
crawled_page(url)
結果
參考:
