智能決策上手系列教程索引
這是為零基礎(chǔ)（會(huì)開機(jī)虏束、會(huì)打字棉饶、會(huì)上網(wǎng)）新手撰寫的教程，所以在此之前你不需要做任何準(zhǔn)備镇匀，不需要買書照藻，甚至不需要下載和安裝軟件。事實(shí)上坑律，當(dāng)你在電腦上看到我這個(gè)文章的時(shí)候岩梳，我就知道你已經(jīng)準(zhǔn)備就緒了~
智慧來自于經(jīng)驗(yàn)，智能來自于數(shù)據(jù)晃择。
互聯(lián)網(wǎng)是全人類最大的數(shù)據(jù)源冀值，沒有之一。
這篇文章將介紹如何利用簡(jiǎn)單的代碼從網(wǎng)絡(luò)上抓取數(shù)據(jù)并進(jìn)行簡(jiǎn)單的統(tǒng)計(jì)分析宫屠。
案例是基于豆瓣全球電影排行列表的列疗，這個(gè)案例可以幫助你回答諸如以下問題：
- “哪一年好電影最多？”
- “什么時(shí)代上映的好電影比較多浪蹂？”
- “電影整體制作水平的歷史發(fā)展情況是什么樣抵栈？”
1. 編程工具
人工智能目前最主流的編程語言是Python，它也被認(rèn)為是最適合新手學(xué)習(xí)的編程語言坤次。
首先我們需要一個(gè)軟件在里面寫代碼古劲，就像我們有了word才能撰寫文檔一樣。
最簡(jiǎn)單的方法是使用阿里云天池?cái)?shù)據(jù)智能平臺(tái)的在線編寫工具Notebook缰猴，你可以直接在瀏覽器里寫Python代碼产艾，并且運(yùn)行你的代碼查看效果。
阿里云天池Notebook傳送門(你可能需要注冊(cè)登錄并完成實(shí)名認(rèn)證)
用阿里云的在線編輯工具寫Python代碼滑绒，并且放在他們的服務(wù)器上闷堡，還要用他們的服務(wù)器運(yùn)行你的代碼，更重要的是還使用他們的網(wǎng)絡(luò)帶寬來為我們搜集數(shù)據(jù)疑故「芾溃——我們這樣做可能有點(diǎn)過分，但至少現(xiàn)在還行得通纵势。如果以后天池限制了這個(gè)功能踱阿，那么推薦安裝Anaconda軟件，它也提供了幾乎一樣功能的JupyterNotebook供大家使用钦铁。
Anaconda官方傳送門
Anaconda快速安裝上手教程
2. 開始編程
我們假定你已經(jīng)完成阿里云的賬號(hào)注冊(cè)和登錄软舌，正常打開了Notebook，點(diǎn)擊左側(cè)【我的Notebook】育瓜，然后點(diǎn)擊下面的藍(lán)色【+新建】按鈕創(chuàng)建了一個(gè)文件（私有或公有都可以）葫隙，如下圖。
如果你看到的和下面不同躏仇，可能需要點(diǎn)私有或公有下面的那個(gè)文件恋脚，然后右上角找到【編輯】按鈕點(diǎn)擊腺办。
我們把其他的cell單元都刪掉（點(diǎn)擊右上角的小圓x），只留下最上面的一個(gè)cell糟描，并且把里面的內(nèi)容都刪掉怀喉。
任意設(shè)定文件名，然后點(diǎn)保存按鈕將我們的這個(gè)文件保存到阿里云的服務(wù)上船响，右側(cè)紅色的disconnected字樣將消失躬拢，如果以后再出現(xiàn)disconnected字樣可以點(diǎn)擊它邊上的電源按鈕進(jìn)行連接。
然后我們?cè)賑ell里面寫以下代碼（當(dāng)然可以復(fù)制粘貼）：
import requests
page=requests.get('https://www.baidu.com/')
print(page.text)
這里有三句話
-
import requests導(dǎo)入我們需要的requests功能模塊见间。requests（請(qǐng)求）這個(gè)模塊是幫我們向互聯(lián)網(wǎng)發(fā)出請(qǐng)求和獲取數(shù)據(jù)的聊闯。
我們每次在瀏覽器里面看到的文字、圖片和視頻都是來自于互聯(lián)網(wǎng)上面別人的服務(wù)器米诉，每次我們?cè)贋g覽器地址欄輸入或粘貼網(wǎng)站鏈接地址菱蔬，就是向遠(yuǎn)在外地的別人的服務(wù)器發(fā)出請(qǐng)求。
比如我們?cè)诘刂窓谳斎?code>www.baidu.com,瀏覽器就會(huì)發(fā)送一個(gè)請(qǐng)求給百度公司的服務(wù)器電腦史侣，他們的服務(wù)器收到請(qǐng)求后就會(huì)把網(wǎng)頁發(fā)送給我們的瀏覽器拴泌，瀏覽器把頁面展現(xiàn)在我們面前，如下圖惊橱。
瀏覽器發(fā)送請(qǐng)求獲取數(shù)據(jù)文件 page=requests.get('https://www.baidu.com/')這句命令的意思就是獲闰礁（get)百度網(wǎng)站的數(shù)據(jù)。實(shí)際上我們獲取到的就是瀏覽器打開百度網(wǎng)址時(shí)候首頁畫面的數(shù)據(jù)信息税朴，下一句就會(huì)顯示這個(gè)數(shù)據(jù)回季。-
print(page.text)這句是把我們獲取數(shù)據(jù)的文字（text）內(nèi)容輸出（print）出來。print到哪里呢掉房？接下來我們就點(diǎn)擊運(yùn)行按鈕看一下效果茧跋。
運(yùn)行代碼獲取百度首頁文件數(shù)據(jù)
我們看到淺藍(lán)色小字output（輸出）下面出現(xiàn)了橫向很長(zhǎng)的一堆字符慰丛，這實(shí)際就是百度首頁的文件數(shù)據(jù)卓囚。我們平常看到的百度首頁畫面就是瀏覽器基于這些字符顯示出出來的诅病。
恭喜你哪亿！已經(jīng)實(shí)現(xiàn)了爬取網(wǎng)頁數(shù)據(jù)的第一個(gè)案例！*
3.理解HTML
但是上面充滿尖括號(hào)的一片字符似乎對(duì)我們沒有什么作用贤笆，接下來我們看如何從這些字符里面提取些有價(jià)值的數(shù)據(jù)蝇棉。
這樣的充滿尖括號(hào)的數(shù)據(jù)就是我們從服務(wù)器收到的網(wǎng)頁文件，就像Office的doc芥永、pptx文件格式一樣篡殷，網(wǎng)頁文件一般是html格式。
我們的瀏覽器可以把這些html代碼數(shù)據(jù)展示成我們看到的網(wǎng)頁埋涧。
html全稱叫做超文本標(biāo)記語言
**我們看到的每個(gè)元素（一段文字板辽、一個(gè)圖片或一個(gè)視頻等等）奇瘦，都是一個(gè)標(biāo)記元素，每個(gè)網(wǎng)頁都是由成百上千的標(biāo)記元素組成的劲弦。
**比如<img src="https://ss0.bdstatic.com/5aV1bjqh_Q23odCf/static/superman/img/logo_top_86d58ae1.png"></img>表示在瀏覽器顯示一個(gè)圖片耳标，img是圖片單詞image的簡(jiǎn)寫，src是源文件source的簡(jiǎn)寫邑跪，如果我們直接復(fù)制src雙引號(hào)內(nèi)的內(nèi)容到瀏覽器地址欄次坡，就可以看到這張圖片。
又比如<div>新聞標(biāo)題</div>表示在瀏覽器顯示四個(gè)文字“新聞標(biāo)題”画畅。
綜上砸琅，每個(gè)標(biāo)記的文字內(nèi)容都是夾在兩個(gè)尖括號(hào)中間的，結(jié)尾尖括號(hào)用/開頭轴踱，尖括號(hào)內(nèi)（img和div）表示標(biāo)記元素的類型（圖片或文字）明棍，尖括號(hào)內(nèi)可以有其他的屬性（比如src）
標(biāo)記內(nèi)容文字才是我們需要的數(shù)據(jù)，但我們要利用id或class屬性才能從眾多標(biāo)記中找到需要的標(biāo)記元素寇僧。
我們可以在電腦瀏覽器中打開任意網(wǎng)頁摊腋，然后【右鍵-檢查】打開元素查看器（Elements），就可以看到組成這個(gè)頁面的成百上千個(gè)各種各樣的標(biāo)記元素嘁傀。
我使用的是谷歌瀏覽器（chrome）兴蒸，其他瀏覽器可能菜單稍有不同。
我們注意到细办，標(biāo)記元素是可以一層一層嵌套的（注意標(biāo)記左側(cè)后退的空白和那些小三角的位置）橙凳。比如下面就是body嵌套了div元素，body是父層笑撞、上層元素岛啸，這個(gè)div是子層、下層元素茴肥。
<body>
<div>十分鐘上手?jǐn)?shù)據(jù)爬蟲</div>
</body>
4. 提取數(shù)據(jù)
回到Notebook坚踩，我們新建一個(gè)文件，任意名稱瓤狐，清理掉多余的cell單元瞬铸，只留下一個(gè)單元，輸入或粘貼以下代碼：
import requests
from bs4 import BeautifulSoup
html=requests.get('https://movie.douban.com/top250?start=0')
soup = BeautifulSoup(html.text, 'html.parser')
for item in soup.find_all('div',"info"):
title=item.div.a.span.string #獲取標(biāo)題
yearline=item.find('div','bd').p.contents[2].string #獲取年份那一行
yearline=yearline.replace(' ','') #去掉這一行的空格
yearline=yearline.replace('\n','') #去掉這一行的回車換行
year=yearline[0:4] #只取年份前四個(gè)字符
print(title,'\t',year)
運(yùn)行它就會(huì)輸出很多電影名稱和上映年份础锐。
看上去有些復(fù)雜嗓节，我們來一行一行的分析：
-
獲取頁面數(shù)據(jù)
import requests和html=requests.get('https://movie.douban.com/top250?start=0')這兩行上面解釋過了，是獲取頁面數(shù)據(jù)皆警。我們可以打開這個(gè)鏈接看一下拦宣，它是豆瓣網(wǎng)統(tǒng)計(jì)的全球250部最佳電影列表，每頁25個(gè)，共10頁鸵隧，每個(gè)電影包含了標(biāo)題桐愉、導(dǎo)演、年份等信息掰派。
解析數(shù)據(jù)
我們需要使用BeautifulSoup這個(gè)功能模塊來把充滿尖括號(hào)的html數(shù)據(jù)變?yōu)楦糜玫母袷健?br>from bs4 import BeautifulSoup這個(gè)是說從(from)bs4這個(gè)功能模塊中導(dǎo)入BeautifulSoup从诲，是的，因?yàn)閎s4中包含了多個(gè)模塊靡羡，BeautifulSoup只是其中一個(gè)系洛。
soup = BeautifulSoup(html.text, 'html.parser')這句代碼就是說用html解析器(parser)來分析我們r(jià)equests得到的html文字內(nèi)容，soup就是我們解析出來的結(jié)果略步。For循環(huán)
豆瓣頁面上有25部電影描扯，而我們需要抓取每部電影的標(biāo)題、導(dǎo)演趟薄、年份等等信息绽诚。就是說我們要循環(huán)25次，操作每一部電影杭煎。for item in soup.find_all('div',"info"):就是這個(gè)意思恩够。
首先我們?cè)诙拱觌娪绊撁嫒我怆娪皹?biāo)題【右鍵-檢查】（比如“肖申克的救贖”），打開Elements元素查看器羡铲。
find_all('div',"info")蜂桶，find是查找，find_all就是查找全部也切，查找什么呢扑媚？查找標(biāo)記名是div并且class屬性是info的全部元素，也就是會(huì)得到25個(gè)這樣的元素的集合雷恃。
for item in 集合:的含義就是針對(duì)集合中的每個(gè)元素疆股，循環(huán)執(zhí)行冒號(hào)：后面的代碼，也就是說倒槐，下面的幾行代碼都是針對(duì)每部電影元素(臨時(shí)叫做item)執(zhí)行的.
-
獲取電影標(biāo)題
title=item.div.a.span.string中item代表的是上面圖片中的整個(gè)div元素(class='info')旬痹，那么它下一層（子層）div再下一層a再下一層span(class='title'的)里面的文字“肖申克的救贖”就是我們需要的電影標(biāo)題，所以是.div.a.span然后取內(nèi)容.string
注意导犹，一層層的點(diǎn)下去的方法只適合于獲取到每層的第一個(gè)元素唱凯，比如前面圖中我們知道實(shí)際有三個(gè)span羡忘，其他兩個(gè)英文名谎痢、其他譯名，但我們只取到第一個(gè)卷雕。
- 獲取年份段落
yearline=item.find('div','bd').p.contents[2].string這句話綜合了find_all和.p兩種方法节猿，取到了item下面第二個(gè)div（class='bd')。
.contents[2]是取得這一行第3個(gè)文字小節(jié),content單詞是內(nèi)容的意思，<br>標(biāo)記將整個(gè)p標(biāo)記內(nèi)容分成了三段（0段滨嘱，1段峰鄙，2段）。
所以太雨，yearline=item.find('div','bd').p.contents[2].string這句話得到的是1994 / 美國(guó) / 犯罪 劇情這行吟榴，但實(shí)際上它還包含了很多空格和回車換行符號(hào)的。所以我們?cè)偈褂脙蓚€(gè)replace替換掉空格和回車囊扳。replace是替換的意思吩翻，在數(shù)據(jù)里\n是表示換行回車。
yearline=yearline.replace(' ','') #去掉這一行的空格
yearline=yearline.replace('\n','') #去掉這一行的回車換行
獲取年份數(shù)字
經(jīng)過上面的處理锥咸，我們得到了干凈的1994 / 美國(guó) / 犯罪 劇情狭瞎，我們只要截取前面4個(gè)數(shù)字就可以了，也就是從第0個(gè)字符截取到第4個(gè)字符之前（0搏予，1熊锭，2，3）雪侥，我們使用year=yearline[0:4]就可以實(shí)現(xiàn)碗殷。-
輸出和復(fù)制到excel
print(title,'\t',year)，中間的'\t'是制表符速缨，我們可以直接鼠標(biāo)選擇output輸出的內(nèi)容亿扁，右鍵復(fù)制，然后打開excel新建空白文件鸟廓，然后選擇合適的表格區(qū)域范圍从祝，【右鍵-選擇性粘貼】彈窗中選擇Unicode文本，就可以把數(shù)據(jù)粘貼到excel表格中引谜。
復(fù)制輸出內(nèi)容
粘貼到Excel
3. 采集更多電影
上面代碼只是幫我們輸出第一頁25部電影信息牍陌，要采集第二頁可以把requests請(qǐng)求的鏈接地址更換一下html=requests.get('https://movie.douban.com/top250?start=25')，每頁25個(gè)遞增员咽，第三頁就是start=50毒涧，以此類推。
最后把全部250個(gè)電影數(shù)據(jù)反復(fù)10遍粘貼到Excel表格就可以了贝室。
當(dāng)然我們有更好的方法契讲，比如利用for循環(huán)自動(dòng)采集10個(gè)頁面的數(shù)據(jù)。
import requests
from bs4 import BeautifulSoup
start=0
for n in range(0,10):
html=requests.get('https://movie.douban.com/top250?start='+str(start))
start+=25
soup = BeautifulSoup(html.text, 'html.parser')
for item in soup.find_all('div',"info"):
title=item.div.a.span.string #獲取標(biāo)題
yearline=item.find('div','bd').p.contents[2].string #獲取年份那一行
yearline=yearline.replace(' ','') #去掉這一行的空格
yearline=yearline.replace('\n','') #去掉這一行的回車換行
year=yearline[0:4] #只取年份前四個(gè)字符
print(title,'\t',year)
這是把剛才的幾乎全部代碼放到了新的循環(huán)里面for n in range(0,10):里面滑频。range(0,10)就是生成一個(gè)0~9的集合捡偏。另外，每次requests請(qǐng)求之后我們還添加了start+=25這行峡迷，就是每次疊加25的意思银伟，第一次循環(huán)start是0你虹，然后加25變25，第二次就是25彤避，然后加25變50傅物，以此類推。
運(yùn)行這個(gè)代碼琉预，稍等一下運(yùn)行結(jié)束董饰，就能看到output全部250部電影信息了。
4.生成統(tǒng)計(jì)數(shù)據(jù)
我們把采集到的數(shù)據(jù)粘貼到Excel文件中圆米，最頂上插入一行【影片名尖阔、年份】。
接下來我們利用這些數(shù)據(jù)研究一下哪些年盛產(chǎn)好電影榨咐。
如上圖介却，點(diǎn)擊B欄全選這一列。然后選擇【插入-數(shù)據(jù)透視表】
然后彈窗中選擇【新工作表】块茁，其他保留默認(rèn)齿坷，點(diǎn)確定。
然后在右側(cè)把年份拖拽到下面的行中数焊。
同樣再拖拽到值里面永淌。
然后點(diǎn)擊表格里面的【求和項(xiàng)：年份】，再點(diǎn)擊【字段設(shè)置】佩耳，彈窗中選擇【計(jì)數(shù)】遂蛀，然后確認(rèn)，就能統(tǒng)計(jì)出每個(gè)年份上映的電影數(shù)量干厚。
很多年份都是1或2李滴，但表格滾動(dòng)到下面就會(huì)看到1994、1995哪些年上映的電影比較多蛮瞄。
選擇AB兩欄所坯，然后點(diǎn)擊【插入-柱形圖圖標(biāo)】，就能得到最終的統(tǒng)計(jì)圖挂捅。
最終統(tǒng)計(jì)圖如下芹助，可以清楚的看到全球最佳電影的年份分布情況，可以得到一些結(jié)論闲先，比如上個(gè)世紀(jì)90年代初開始電影制作水平有了明顯的提升状土，至90年代中期以后，雖然一直處于較高水平伺糠，但沒有太大幅度的提高了蒙谓；2010年貢獻(xiàn)了最多數(shù)量的好電影，此后至今的8年雖然佳片不斷（12年除外）退盯，但整體走低彼乌，2017年觀眾認(rèn)可度達(dá)到最低點(diǎn)泻肯。
雖然這些數(shù)據(jù)可以客觀說明一些情況渊迁，但要知道慰照，首先數(shù)據(jù)量不是很大，我們也只考慮了數(shù)量琉朽，沒考慮排名影響等其他因素毒租，另外，經(jīng)典電影獲得最終評(píng)分認(rèn)同也需要一些時(shí)間箱叁，所以武斷的得出的結(jié)論也很可能是不正確不全面的墅垮。
5.后續(xù)學(xué)習(xí)資源
如果你已經(jīng)掌握了上面介紹的內(nèi)容，那么一定要趁熱進(jìn)取耕漱。
推薦先認(rèn)真學(xué)習(xí)BeautifulSoup更多的搜索獲取元素?cái)?shù)據(jù)的方法算色，如果你有一些編程基礎(chǔ)的話推薦先瀏覽官方文檔，或者你可以在簡(jiǎn)書搜索Python入門教程和BeautifulSoup相關(guān)教程先慢慢學(xué)習(xí)螟够，后續(xù)我會(huì)陸續(xù)制作相關(guān)教程灾梦，陪各位新手一起繼續(xù)學(xué)習(xí)下去。
Html標(biāo)簽技術(shù)基礎(chǔ)入門
Python基礎(chǔ)入門教程
BeautifulSoup中文官方文檔傳送門
簡(jiǎn)單學(xué)習(xí)了解之后妓笙，你可以試試看能否嘗試統(tǒng)計(jì)到350部電影的國(guó)家地區(qū)分布情況若河。
智能決策上手系列教程索引
每個(gè)人的智能決策新時(shí)代
如果您發(fā)現(xiàn)文章錯(cuò)誤，請(qǐng)不吝留言指正寞宫；
如果您覺得有用萧福，請(qǐng)點(diǎn)喜歡；
如果您覺得很有用辈赋，歡迎轉(zhuǎn)載~
END
