歡迎關(guān)注哈希大數(shù)據(jù)微信公眾號(hào)【哈希大數(shù)據(jù)】

貓眼電影票房榜單中各電影實(shí)時(shí)票房數(shù)據(jù)和總票房數(shù)據(jù)是經(jīng)過加密的，咱們直接獲取不到，現(xiàn)在咱們就嘗試采用圖像識(shí)別的方法把實(shí)時(shí)票房數(shù)據(jù)和總票房數(shù)據(jù)爬下來缚柏，附帶把電影主演、上映時(shí)間叉信、宣傳海報(bào)鏈接等信息也獲取下來米辐。

本次爬取主要流程如下：

1. 分析網(wǎng)頁結(jié)構(gòu)
2. 用selenium調(diào)用chromedriver去驅(qū)動(dòng)chrome瀏覽器獲取網(wǎng)頁信息
3. 將票房信息保存為圖片，利用PIL對(duì)圖片進(jìn)行二值化务冕、銳化等預(yù)處理
4. 利用tesseract對(duì)保存的圖片進(jìn)行識(shí)別血当，得到票房數(shù)據(jù)
5. 保存數(shù)據(jù)

接下來進(jìn)行詳細(xì)說明：

1. 分析網(wǎng)頁結(jié)構(gòu)

貓眼電影國內(nèi)票房榜URL為：https://maoyan.com/board/1，其結(jié)構(gòu)較為簡答禀忆，只展示國內(nèi)上線電影實(shí)時(shí)票房的前十名歹颓。

image

可爬取的字段也只有7個(gè)：目前排名、實(shí)時(shí)票房數(shù)據(jù)油湖、總票房數(shù)據(jù)巍扛、電影名稱、電影主演乏德、上映時(shí)間撤奸、宣傳海報(bào)鏈接，不過我們要多記錄一個(gè)字段：當(dāng)前時(shí)間喊括，唯一好玩的點(diǎn)在于實(shí)時(shí)票房是加密的胧瓜，可以讓咱們?cè)囋嚹懿荒芾脠D像識(shí)別的方式把它搞定。

2. 獲取非加密數(shù)據(jù)

這里使用的是selenium模擬的方式獲取網(wǎng)頁信息郑什，之前也介紹過府喳，但沒用它直接解析數(shù)據(jù)，前面一般是先把網(wǎng)頁信息獲取下來蘑拯，再用BeautifulSoup或PyQuery這兩個(gè)解析庫處理解析信息钝满，今天咱們看看如何用其API直接獲取數(shù)據(jù)：
首先得到所有內(nèi)容標(biāo)簽：

contents_list = driver.find_elements_by_css_selector('dl.board-wrapper dd')

這里注意咱們用的是find_elements_by_css_selector，element后面加了s申窘。如果不加s弯蚜，find_element方法查找就只能得到第一個(gè)節(jié)點(diǎn)，加了s后可獲得滿足條件的所有節(jié)點(diǎn)剃法，以列表類型返回碎捺。
對(duì)于標(biāo)簽的文本內(nèi)容的獲取也是非常簡單，例如提取電影排名：
contents['index']= content.find_element_by_css_selector('i.board-index').text
找到標(biāo)簽后加.text便可獲得標(biāo)簽內(nèi)容贷洲。獲取標(biāo)簽內(nèi)屬性值也很簡單,例如提取電影名稱: contents['title']= content.find_element_by_css_selector('img.board-img').get_attribute('alt')
找到標(biāo)簽后加.get_attribute('屬性名稱')便可獲得標(biāo)簽內(nèi)屬性值收厨。具體實(shí)例如下：

for content in contents_list:<br> &nbsp;&nbsp;&nbsp; contents['index'] = content.find_element_by_css_selector('i.board-index').text<br>; contents['image_url'] = content.find_element_by_css_selector('img.boardimg').get_attribute('src')<br>;contents['title'] = content.find_element_by_css_selector('img.boardimg').get_attribute('alt')<br> &nbsp;&nbsp;&nbsp; try:<br> contents['actor'] = content.find_element_by_css_selector('p.star').text<br>; except NoSuchElementException:<br>;contents['actor'] = ''<br>; contents['time'] = content.find_element_by_css_selector('p.releasetime').t;

3. 將票房信息保存為圖片，利用PIL對(duì)圖片進(jìn)行二值化优构、銳化等預(yù)處理操作
將想要獲取信息的標(biāo)簽保存圖片的一般步驟如下：
a) 截取當(dāng)前窗口（selenium不能直接截取單個(gè)標(biāo)簽）
b) 獲取標(biāo)簽位置坐標(biāo)和標(biāo)簽大小
c) 利用PIL包的crop函數(shù)根據(jù)標(biāo)簽的坐標(biāo)和大小將標(biāo)簽剪切保存下來
舉例如下：

image

上圖就是網(wǎng)頁截圖诵叁，利用save_screenshot函數(shù)可以獲得當(dāng)前窗口截圖，咱們需要將藍(lán)色方框內(nèi)的票房數(shù)據(jù)剪切保存下來俩块，所以我們需要它們的坐標(biāo)和大小黎休，幸運(yùn)的是咱們可以利用.location和.size函數(shù)得到標(biāo)簽的坐標(biāo)和大小浓领，最后再利用PIL包的crop函數(shù)根據(jù)標(biāo)簽的坐標(biāo)和大小將標(biāo)簽剪切保存下來。

以上步驟在截取信息在第一屏的情況很好用势腮，但在窗口超過了一屏联贩，且需要截取的元素在后面時(shí)，就只能另辟蹊徑了捎拯。
咱們抓取貓眼電影的電影票房網(wǎng)頁就比較長泪幌，一屏根本展示不完。當(dāng)然咱們可以利用js下拉網(wǎng)頁然后截圖署照，這樣也能將下面網(wǎng)頁的信息截取到祸泪，但獲取到的標(biāo)簽位置坐標(biāo)的基準(zhǔn)點(diǎn)在網(wǎng)頁的左上角（如上圖提示），crop函數(shù)在裁剪時(shí)以當(dāng)前圖片左上角為基準(zhǔn)建芙，所以基準(zhǔn)不同截取出來的內(nèi)容肯定不對(duì)没隘。
在網(wǎng)上查到WebDriver.PhantomJS自帶的方法支持對(duì)整個(gè)網(wǎng)頁截屏，這不是太爽了禁荸，但當(dāng)我用的時(shí)候又懵逼了右蒲，PhantomJS是可以截取整個(gè)網(wǎng)頁，但截取結(jié)果是這樣的：

image

尼瑪要啥不給啥呀赶熟，同時(shí)程序也提示警告selenium已經(jīng)不再允許使用PhantomJS了瑰妄，怎么辦咱們還是默默回去用chrome吧！這時(shí)突然靈光一閃映砖，剛才不能用chrome的原因是location函數(shù)獲取的標(biāo)簽坐標(biāo)和crop函數(shù)在裁剪坐標(biāo)基準(zhǔn)不同间坐，咱們把它調(diào)一致不就可以了（嘖嘖嘖此處應(yīng)有掌聲），說干就干邑退，這個(gè)網(wǎng)頁上一共有10部電影我只用下拉10次就OK了竹宋，所以這里咱們來個(gè)for循環(huán)，window.scrollTo函數(shù)用了下拉網(wǎng)頁瓜饥，它有兩個(gè)參數(shù)第一個(gè)是參數(shù)代表橫向拖動(dòng)像素?cái)?shù)逝撬，第二個(gè)代表縱向拖動(dòng)像素?cái)?shù)浴骂∨彝粒可是每次下拉多少呢？270px(像素)溯警，
咦你咋知道趣苏？
來來來告訴大家一個(gè)小技巧咱們用微信截圖是它會(huì)顯示截圖圖片大小，對(duì)本實(shí)例咱們每次下拉兩個(gè)電影票房之間的長度就好梯轻，如下圖其長度為270px食磕。

image

這樣應(yīng)該是能得到每個(gè)票房數(shù)據(jù)標(biāo)簽了，在得到票房數(shù)據(jù)標(biāo)簽后咱們還要進(jìn)行一下圖片預(yù)處理（二值化喳挑，銳化）彬伦，最后將標(biāo)簽保存下來滔悉，部分代碼如下：

length = n*270driver.execute_script('window.scrollTo(0, {}*270)'.format(n))# 保存當(dāng)前窗口為圖片driver.save_screenshot('b.png')# time.sleep(2)# 定位div地址location = div.location# print(location)# 得到div尺寸size = div.size# print(size)left = location['x']top = location['y'] - lengthright = location['x'] + size['width']bottom = location['y'] + size['height'] - length

4. 利用tesseract對(duì)保存的圖片進(jìn)行識(shí)別，得到票房數(shù)據(jù)
原始票房數(shù)據(jù)圖片：

image

預(yù)處理后的票房數(shù)據(jù)圖片：

image

對(duì)處理后的圖片進(jìn)行利用tesseract進(jìn)行識(shí)別處理单绑，部分代碼如下：

# 調(diào)用tesseract進(jìn)行文字?jǐn)?shù)字識(shí)別回官，目前對(duì)于淺顏色的字體識(shí)別率較低，若想提高識(shí)別率需要對(duì)圖片做預(yù)處理os.system('echo off')#關(guān)閉命令行窗口運(yùn)行命令的顯示os.system('tesseract' + ' ' + filename + ' ' + output + ' ' + '-l num+chi_tra') #默認(rèn)已配置好系統(tǒng)變量time.sleep(2)f = open(output + ".txt", encoding='utf-8')try:    t = f.readlines()[0]

目前在沒有去訓(xùn)練自己的數(shù)據(jù)識(shí)別包搂橙，直接利用tesseract的現(xiàn)有數(shù)據(jù)包歉提，通過多次試驗(yàn)對(duì)實(shí)時(shí)票房的識(shí)別率已達(dá)到97%以上，由于總票房字體顏色太淺区转，且字體較小目前識(shí)別率還比較低在60%左右苔巨。得到的數(shù)據(jù)具體如下圖所示：

image

本次初次嘗試?yán)脠D像識(shí)別解決爬蟲與到的問題，感覺確實(shí)比較好玩废离，目前獲取標(biāo)簽圖片的流程已經(jīng)打通侄泽，但圖像預(yù)處理和圖像識(shí)別部分還有大量工作要做，目前是采用第三方軟件Tesseract-OCR進(jìn)行的識(shí)別蜻韭，后面一方面會(huì)繼續(xù)研究Tesseract-OCR蔬顾，另一方面也會(huì)嘗試?yán)蒙疃葘W(xué)習(xí)的方法提高圖片文字的識(shí)別精度。

image