這是一個適用于小白的Python爬蟲免費教學課程迷帜，只有7節(jié)，讓零基礎的你初步了解爬蟲冠胯，跟著課程內容能自己爬取資源锦针∧嗡眩看著文章，打開電腦動手實踐舀瓢，平均45分鐘就能學完一節(jié)耗美，如果你愿意航缀，今天內你就可以邁入爬蟲的大門啦~
好啦芥玉，正式開始我們的第二節(jié)課《爬取豆瓣電影信息》吧！啦啦哩啦啦赶袄，都看黑板~
1. 爬蟲原理
1.1 爬蟲基本原理
聽了那么多的爬蟲饿肺，到底什么是爬蟲盾似？爬蟲又是如何工作的呢？我們先從“爬蟲原理”說起溉跃。
爬蟲又稱為網(wǎng)頁蜘蛛，是一種程序或腳本嵌牺。但重點在于：它能夠按照一定的規(guī)則乾吻，自動獲取網(wǎng)頁信息绎签。爬蟲的通用框架如下：
1.挑選種子URL；
2.將這些URL放入待抓取的URL隊列奢方；
3.取出待抓取的URL蟋字，下載并存儲進已下載網(wǎng)頁庫中扭勉。此外，將這些URL放入待抓取URL隊列忠聚，進入下一循環(huán)两蟀；
4.分析已抓取隊列中的URL震缭，并且將URL放入待抓取URL隊列拣宰，從而進入下一循環(huán)。
咳咳~
還是用一個具體的例子膛堤，來說明吧骑祟！
1.2 一個爬蟲例子
爬蟲獲取網(wǎng)頁信息和人工獲取信息，其實原理是一致的怯晕，比如我們要獲取電影的“評分”信息：
人工操作步驟：
獲取電影信息的頁面
定位（找到）到評分信息的位置
復制舟茶、保存我們想要的評分數(shù)據(jù)
爬蟲操作步驟：
請求并下載電影頁面信息
解析并定位評分信息
保存評分數(shù)據(jù)
感覺是不是很像堵第？
1.3 爬蟲的基本流程
簡單來說踏志，我們向服務器發(fā)送請求后，會得到返回的頁面饲鄙，通過解析頁面之后圆雁，我們可以抽取我們想要的那部分信息伪朽，并存儲在指定的文檔或數(shù)據(jù)庫中。這樣朴肺，我們想要的信息就被我們“爬”下來啦~
2. Requests+Xpath 爬取豆瓣電影
Python 中爬蟲相關的包很多：Urllib宇挫、requsts酪术、bs4……我們從 requests+xpath 講起翠储，因為太容易上手了援所！學習之后你就會發(fā)現(xiàn)，BeautifulSoup 還是稍微有點難的挪略。
下面我們用 requests+xpath 爬取豆瓣電影：
2.1 安裝 Python 應用包：requests杠娱、lxml
如果是首次使用Requests+Xpath，首先需要安裝兩個包：requests和lxml禽拔，在終端分別輸入以下兩行代碼即可（安裝方法在第1節(jié)中已講過）：
pip install requestspip install lxml
2.2 導入我們需要的 Python 模塊
我們在jupyter中編寫代碼睹栖，首先導入我們需要的兩個模塊：
import requestsfrom lxml import etree
Python中導入庫直接用”import+庫名“茧痕，需要用庫里的某種方法用”from+庫名+import+方法名“踪旷。這里我們需要requests來下載網(wǎng)頁，用lxml.etree來解析網(wǎng)頁搪锣。
2.3 獲取豆瓣電影目標網(wǎng)頁并解析
我們要爬取豆瓣電影《肖申克的救贖》上面的一些信息构舟，網(wǎng)站地址是：
https://movie.douban.com/subject/1292052/
給定 url 并用 requests.get() 方法來獲取頁面的text狗超，用 etree.HTML() 來解析下載的頁面數(shù)據(jù)“data”朴下。
url = 'https://movie.douban.com/subject/1292052/'data = requests.get(url).texts=etree.HTML(data)
2.4 獲取電影名稱
獲取元素的Xpath信息并獲得文本：
file=s.xpath('元素的Xpath信息/text()')
這里的“元素的Xpath信息”是需要我們手動獲取的殴胧，獲取方式為：定位目標元素，在網(wǎng)站上依次點擊：右鍵 > 檢查
快捷鍵“shift+ctrl+c”竿屹，移動鼠標到對應的元素時即可看到對應網(wǎng)頁代碼：
在電影標題對應的代碼上依次點擊 右鍵 > Copy > Copy XPath，獲取電影名稱的Xpath：
這樣我們就把元素中的Xpath信息復制下來了：
//*[@id="content"]/h1/span[1]
放到代碼中并打印信息：
film=s.xpath('//*[@id="content"]/h1/span[1]/text()')print(film)
2.5 代碼以及運行結果
以上完整代碼如下：
import requestsfrom lxml import etreeurl = 'https://movie.douban.com/subject/1292052/'data = requests.get(url).texts=etree.HTML(data)film=s.xpath('//*[@id="content"]/h1/span[1]/text()')print(film)
在 Jupyter 中運行完整代碼及結果如下：
至此灸姊，我們完成了爬取豆瓣電影《肖申克的救贖》中“電影名稱”信息的代碼編寫拱燃，可以在 Jupyter 中運行。
2.6 獲取其它元素信息
除了電影的名字力惯，我們還可以獲取導演碗誉、主演召嘶、電影片長等信息，獲取的方式是類似的哮缺。代碼如下：
director=s.xpath('//*[@id="info"]/span[1]/span[2]/a/text()')? ? #導演actor1=s.xpath('//*[@id="info"]/span[3]/span[2]/a[1]/text()')? #主演1actor2=s.xpath('//*[@id="info"]/span[3]/span[2]/a[2]/text()')? #主演2actor3=s.xpath('//*[@id="info"]/span[3]/span[2]/a[3]/text()')? #主演3time=s.xpath(‘//*[@id="info"]/span[13]/text()')? #電影片長
觀察上面的代碼，發(fā)現(xiàn)獲取不同“主演”信息時蝴蜓，區(qū)別只在于“a[x]”中“x”的數(shù)字大小不同碟绑。實際上，要一次性獲取所有“主演”的信息時茎匠，用不加數(shù)字的“a”表示即可格仲。代碼如下：
actor=s.xpath('//*[@id="info"]/span[3]/span[2]/a/text()')? #主演
完整代碼如下：
import requestsfrom lxml import etreeurl = 'https://movie.douban.com/subject/1292052/'data = requests.get(url).texts=etree.HTML(data)film=s.xpath('//*[@id="content"]/h1/span[1]/text()')director=s.xpath('//*[@id="info"]/span[1]/span[2]/a/text()')actor=s.xpath('//*[@id="info"]/span[3]/span[2]/a/text()')time=s.xpath('//*[@id="info"]/span[13]/text()')print('電影名稱：',film)print('導演：',director)print('主演：',actor)print('片長：',time)
在jupyter中運行完整代碼及結果如下：
3. 關于Requests
Requests庫官方的介紹有這么一句話：Requests 唯一的一個非轉基因的 Python HTTP 庫，人類可以安全享用诵冒。
這句話直接并霸氣地宣示了 Requests 庫是 python 最好的一個HTTP庫凯肋。為什么它有這樣的底氣？如有興趣請閱讀?Requests 官方文檔?汽馋。
Requests 常用的七種方法：
4. 關于解析神器 Xpath
Xpath 即為 XML 路徑語言（XML Path Language）侮东，它是一種用來確定 XML 文檔中某部分位置的語言。
Xpath 基于 XML 的樹狀結構豹芯，提供在數(shù)據(jù)結構樹中找尋節(jié)點的能力悄雅。起初 Xpath 的提出的初衷是將其作為一個通用的、介于 Xpointer 與 XSL 間的語法模型铁蹈。但是Xpath 很快的被開發(fā)者采用來當作小型查詢語言宽闲。
可以閱讀該文檔了解更多關于 Xpath 的知識。
Xpath解析網(wǎng)頁的流程：
1.首先通過Requests庫獲取網(wǎng)頁數(shù)據(jù)
2.通過網(wǎng)頁解析握牧，得到想要的數(shù)據(jù)或者新的鏈接
3.網(wǎng)頁解析可以通過 Xpath 或者其它解析工具進行容诬，Xpath 在是一個非常好用的網(wǎng)頁解析工具
常見的網(wǎng)頁解析方法比較
正則表達式使用比較困難，學習成本較高
BeautifulSoup 性能較慢沿腰，相對于 Xpath 較難览徒，在某些特定場景下有用
Xpath 使用簡單，速度快（Xpath是lxml里面的一種）颂龙，是入門最好的選擇
好了习蓬，這節(jié)課就到這里！
白白~
