#coding:utf-8
from bs4 import BeautifulSoup
import requests
# 讀取網(wǎng)頁
# 解析網(wǎng)頁
# 獲取相關(guān)數(shù)據(jù)
# 翻頁 通過取后頁標(biāo)簽中的 a 標(biāo)簽
# 第一頁 https://movie.douban.com/top250?start=0
# 第二頁 https://movie.douban.com/top250?start=25&filter=
# 第三頁 https://movie.douban.com/top250?start=50&filter=
def main(url_temp):
rep=requests.get(url_temp)
soup=BeautifulSoup(rep.text,'lxml')
ol=soup.find("ol",class_="grid_view")
li_list=ol.find_all('li')
for li in li_list:
img=li.find('img')
#print(img['alt'],img['src'])
img_src=img['src']
title=li.find("span",class_="title").text.strip()
act_info=li.find("div",class_="bd").p.get_text().strip()
star_info_all = li.find('div', class_='star').find_all('span')
mv_score =star_info_all[1].text.strip()
comments_num =star_info_all[3].text.strip()
print(title)
print(img_src)
print(act_info)
print(mv_score)
print(comments_num)
print('-' * 50)
next_span=soup.find("span",class_="next")
next_a=next_span.find('a')
next_url=None
if next_a:
next_url='https://movie.douban.com/top250?start=0'+next_a['href']
return next_url
if __name__=="__main__":
n_url="https://movie.douban.com/top250?start=0"
# 當(dāng) n_url 不是None 為真的時候就進行翻頁
while n_url:
n_url = main(n_url)
【Python爬蟲】Beautiful Soup豆瓣電影TOP250
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
- 文/潘曉璐 我一進店門后雷，熙熙樓的掌柜王于貴愁眉苦臉地迎上來季惯，“玉大人吠各，你說我怎么就攤上這事∶阕ィ” “怎么了贾漏？”我有些...
- 文/不壞的土叔 我叫張陵，是天一觀的道長藕筋。 經(jīng)常有香客問我纵散，道長，這世上最難降的妖魔是什么隐圾？ 我笑而不...
- 正文 為了忘掉前任伍掀，我火速辦了婚禮，結(jié)果婚禮上暇藏，老公的妹妹穿的比我還像新娘蜜笤。我一直安慰自己，他們只是感情好盐碱，可當(dāng)我...
- 文/花漫 我一把揭開白布把兔。 她就那樣靜靜地躺著，像睡著了一般瓮顽。 火紅的嫁衣襯著肌膚如雪垛贤。 梳的紋絲不亂的頭發(fā)上，一...
- 文/蒼蘭香墨 我猛地睜開眼禀酱，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了牧嫉？” 一聲冷哼從身側(cè)響起剂跟，我...
- 正文 年R本政府宣布，位于F島的核電站谒出，受9級特大地震影響羽杰，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜到推，卻給世界環(huán)境...
- 文/蒙蒙 一考赛、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧莉测，春花似錦颜骤、人聲如沸。這莊子的主人今日做“春日...
- 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至董朝，卻和暖如春鸠项，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背子姜。 一陣腳步聲響...
推薦閱讀更多精彩內(nèi)容
- 我的第一個爬蟲作品讲坎，一天完成，紀(jì)念一下愧薛！ 代碼如下： import requests from bs4 impor...
- 本篇內(nèi)容需要大家對scrapy框架有了解厚满，并完成了入門學(xué)習(xí)才能繼續(xù)使用府瞄。 創(chuàng)建項目 scrape startpro...
- python爬蟲學(xué)習(xí)給自己定下的第一個小目標(biāo), 加油!也希望能得到python大大們的指點, 感謝! 1. 豆瓣抓...
