背景音樂：借我 - 謝春花
今天學(xué)習(xí)學(xué)得頭大聊倔，放松之余睡毒，水一篇文章好了——
用python爬蟲豆瓣電影TOP100的簡易信息
要收集的信息包括：每部電影的標(biāo)題、導(dǎo)演暇赤、上映年份心例、評分以及引用。
環(huán)境：python 2.7
系統(tǒng)：macOS 10.13.1
模塊：BeautifulSoup鞋囊、requests止后、pandas
過程很簡單，分析一下網(wǎng)頁結(jié)構(gòu)溜腐，然后用BeautifulSoup分分鐘寫好呀：
from BeautifulSoup import BeautifulSoup
import requests
import pandas as pd
movies = []
N = 1
for i in range(4): # 每頁25部電影译株，共需搜索4頁
page = requests.get('https://movie.douban.com/top250?start={}&filter='.format(i))
soup = BeautifulSoup(page.text) # 用BeautifulSoup對html源碼進(jìn)行處理
info_list = soup.findAll('ol')[0].findAll('li') # 觀察可知電影信息在第1個(gè)<ol>標(biāo)簽的各個(gè)<li>標(biāo)簽里
for info in info_list:
movie = {
'ranking':str(N),
'title':info.find('span', attrs={'class':'title'}).text, # title在class為"title"的<span>標(biāo)簽里
'rating_num':info.find('span', attrs={'class':'rating_num'}).text, # 如上
'quote':info.find('span', attrs={'class':'inq'}).text, # 如上
'director':str(info.find('p')).split('導(dǎo)演: ')[1].split(' ')[0], # 導(dǎo)演信息在字符串中，需要特殊提取
'year':str(info.find('p')).split('<br />')[-1].strip().split('&')[0] # 同上
}
movies.append(movie)
N += 1
df = pd.DataFrame(movies)[['ranking', 'title', 'rating_num', 'year', 'director', 'quote']] # 指定DataFrame的列的順序
df.to_csv('douban_movie.csv', encoding='utf-8', index=False)
最后輸出到douban_movie.csv里挺益，打開后是這樣的~
今天先做個(gè)代碼的儲備歉糜，以后如果要收集影評做一些情感分析的話，就方便一些了望众。
如果想收集電影更多的信息匪补，比如說影評之類的，那么就要在創(chuàng)建movie字典之前烂翰，從info里提取電影頁的url并用request獲得html源碼夯缺，再提取一下就好啦。
