爬蟲入門7(爬取豆瓣圖書top250)

image.png

'''
import requests
from lxml import etree
import csv
headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.75 Safari/537.36'}
urls=['https://book.douban.com/top250?start={}'.format(str(i)) for i in range(0,226,25)]
fp=open(r"E:\python_document\豆瓣圖書.csv",'wt',newline="",encoding="utf-8")
writer=csv.writer(fp)
writer.writerow(('書名','網址','作者','出版社','出版日期','價格','評分','評論'))
def get_informations(url):
res=requests.get(url,headers=headers)
selector=etree.HTML(res.text)
infos=selector.xpath('//tr[@class="item"]')
for info in infos:
name=info.xpath('td/div/a/@title')[0]
url_0=info.xpath('td/div/a/@href')[0]
book_infos=info.xpath('td/p/text()')[0]
author=book_infos.split('/')[0]
publisher=book_infos.split('/')[-3]
date=book_infos.split('/')[-2]
price=book_infos.split('/')[-1]
rate=info.xpath('td/div/span[2]/text()')[0]
coments=info.xpath('td/p/span/text()')
coment=coments[0] if len(coments)!=0 else "空"
writer.writerow((name,url_0,author,publisher,date,price,rate,coment))
for url in urls:
get_informations(url)
fp.close()
'''

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末犁河,一起剝皮案震驚了整個濱河市费尽,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖廓推,帶你破解...
    沈念sama閱讀 212,686評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現場離奇詭異房匆,居然都是意外死亡卦尊,警方通過查閱死者的電腦和手機,發(fā)現死者居然都...
    沈念sama閱讀 90,668評論 3 385
  • 文/潘曉璐 我一進店門舌厨,熙熙樓的掌柜王于貴愁眉苦臉地迎上來岂却,“玉大人,你說我怎么就攤上這事□锪ǎ” “怎么了署浩?”我有些...
    開封第一講書人閱讀 158,160評論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長扫尺。 經常有香客問我筋栋,道長,這世上最難降的妖魔是什么正驻? 我笑而不...
    開封第一講書人閱讀 56,736評論 1 284
  • 正文 為了忘掉前任弊攘,我火速辦了婚禮,結果婚禮上姑曙,老公的妹妹穿的比我還像新娘襟交。我一直安慰自己,他們只是感情好伤靠,可當我...
    茶點故事閱讀 65,847評論 6 386
  • 文/花漫 我一把揭開白布捣域。 她就那樣靜靜地躺著,像睡著了一般宴合。 火紅的嫁衣襯著肌膚如雪焕梅。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 50,043評論 1 291
  • 那天卦洽,我揣著相機與錄音贞言,去河邊找鬼。 笑死逐样,一個胖子當著我的面吹牛蜗字,可吹牛的內容都是我干的。 我是一名探鬼主播脂新,決...
    沈念sama閱讀 39,129評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼挪捕,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了争便?” 一聲冷哼從身側響起级零,我...
    開封第一講書人閱讀 37,872評論 0 268
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎滞乙,沒想到半個月后奏纪,有當地人在樹林里發(fā)現了一具尸體,經...
    沈念sama閱讀 44,318評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡斩启,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 36,645評論 2 327
  • 正文 我和宋清朗相戀三年序调,在試婚紗的時候發(fā)現自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片兔簇。...
    茶點故事閱讀 38,777評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡发绢,死狀恐怖硬耍,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情边酒,我是刑警寧澤经柴,帶...
    沈念sama閱讀 34,470評論 4 333
  • 正文 年R本政府宣布,位于F島的核電站墩朦,受9級特大地震影響坯认,放射性物質發(fā)生泄漏。R本人自食惡果不足惜氓涣,卻給世界環(huán)境...
    茶點故事閱讀 40,126評論 3 317
  • 文/蒙蒙 一牛哺、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧春哨,春花似錦荆隘、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,861評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至凰荚,卻和暖如春燃观,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背便瑟。 一陣腳步聲響...
    開封第一講書人閱讀 32,095評論 1 267
  • 我被黑心中介騙來泰國打工缆毁, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人到涂。 一個月前我還...
    沈念sama閱讀 46,589評論 2 362
  • 正文 我出身青樓脊框,卻偏偏與公主長得像,于是被迫代替她去往敵國和親践啄。 傳聞我的和親對象是個殘疾皇子浇雹,可洞房花燭夜當晚...
    茶點故事閱讀 43,687評論 2 351

推薦閱讀更多精彩內容