Scrapy爬取第一個(gè)網(wǎng)站-伯樂在線

分析網(wǎng)站結(jié)構(gòu)

爬取blog.jobbole.com

該網(wǎng)站提供了所有文章的URL


新建虛擬環(huán)境(指定虛擬環(huán)境)

mkvirtualenv --python=路徑 虛擬環(huán)境名字


安裝scrapy(使用豆瓣源)

workon 虛擬環(huán)境名呵俏,進(jìn)入虛擬環(huán)境后

pip install -i https://pypi.douban.com/simple/ scrapy


新建Scrapy工程

scrapy startproject 項(xiàng)目名


利用模板新建爬蟲文件

在項(xiàng)目目錄下

scrapy genspider jobbole blog.jobbole.com

繼承了scrapy.Spider類,start_urls是一個(gè)list,可以放入想爬取的所有的URL。

對(duì)start_urls 進(jìn)行遍歷,yield Request交給Scrapy的下載器焚鲜,下載完之后,進(jìn)入到parse函數(shù)中,有一個(gè)response對(duì)象钮莲。


自定義main文件調(diào)用命令行使pycharm可以調(diào)試

os.path.abspath(__file__) ?# 得到當(dāng)前文件的絕對(duì)路徑

os.path.dirname(os.path.abspath(__file__)) ? ?# 得到當(dāng)前文件的父目錄

sys.path.append(os.path.dirname(os.path.abspath(__file__)))

execute(["scrapy","crawl","jobbole"]) # 啟動(dòng)jobbole爬蟲

注意settings.py 的ROBOTSTXT_OBEY協(xié)議設(shè)置為False


出現(xiàn)錯(cuò)誤:No module named 'win32api'

因?yàn)閣indows下缺少這個(gè)包,通過pip命令安裝

pip install -i 豆瓣源 pypiwin32


通過xpath提取值

xpath使用路徑表達(dá)式在xml和html中進(jìn)行導(dǎo)航

xpath語(yǔ)法

1. article:選取所有article元素的所有子節(jié)點(diǎn)

2. /article:選取根元素article

3. article/a: 屬于article的子元素的a元素

4. //div: 獲取所有div

5. article//div: article下的所有div

6. //@class: 選取所有名為class的屬性

/article/div[1]

/article/div[last()]

//div[@lang='eng'] 取lang屬性為eng的div

/div/* div下的所有子節(jié)點(diǎn)

//* 選取所有元素

//div[@*] 選取所有帶屬性的元素

response.xpath('//*[@id="post-110287"]/div[1]/h1/text') ?# xpath提取標(biāo)題

response.xpath('//span[contains(@class,'vote-post-up')]') # 找一個(gè)span,他的class包含vote-post-up


通過CSS選擇器提取值

response.css('.entry-header h1::text').extract()


關(guān)鍵代碼

from scrapy.http import Request

from urllib import parse # python2 中是urlparse



Item


Scrapy 自動(dòng)下載圖片pipeline設(shè)置


no module PIL報(bào)錯(cuò):

pip install pillow


將數(shù)據(jù)作為json文件保存



將數(shù)據(jù)插入數(shù)據(jù)庫(kù)中

安裝mysql驅(qū)動(dòng):pip install mysqlclient





?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末彼水,一起剝皮案震驚了整個(gè)濱河市崔拥,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌凤覆,老刑警劉巖链瓦,帶你破解...
    沈念sama閱讀 222,627評(píng)論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異盯桦,居然都是意外死亡慈俯,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,180評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門拥峦,熙熙樓的掌柜王于貴愁眉苦臉地迎上來贴膘,“玉大人,你說我怎么就攤上這事略号⌒滔浚” “怎么了?”我有些...
    開封第一講書人閱讀 169,346評(píng)論 0 362
  • 文/不壞的土叔 我叫張陵玄柠,是天一觀的道長(zhǎng)突梦。 經(jīng)常有香客問我,道長(zhǎng)羽利,這世上最難降的妖魔是什么宫患? 我笑而不...
    開封第一講書人閱讀 60,097評(píng)論 1 300
  • 正文 為了忘掉前任,我火速辦了婚禮铐伴,結(jié)果婚禮上撮奏,老公的妹妹穿的比我還像新娘。我一直安慰自己当宴,他們只是感情好畜吊,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,100評(píng)論 6 398
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著户矢,像睡著了一般玲献。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,696評(píng)論 1 312
  • 那天捌年,我揣著相機(jī)與錄音瓢娜,去河邊找鬼。 笑死礼预,一個(gè)胖子當(dāng)著我的面吹牛眠砾,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播托酸,決...
    沈念sama閱讀 41,165評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼褒颈,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了励堡?” 一聲冷哼從身側(cè)響起谷丸,我...
    開封第一講書人閱讀 40,108評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎应结,沒想到半個(gè)月后刨疼,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,646評(píng)論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡鹅龄,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,709評(píng)論 3 342
  • 正文 我和宋清朗相戀三年揩慕,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片砾层。...
    茶點(diǎn)故事閱讀 40,861評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡漩绵,死狀恐怖贱案,靈堂內(nèi)的尸體忽然破棺而出肛炮,到底是詐尸還是另有隱情,我是刑警寧澤宝踪,帶...
    沈念sama閱讀 36,527評(píng)論 5 351
  • 正文 年R本政府宣布侨糟,位于F島的核電站,受9級(jí)特大地震影響瘩燥,放射性物質(zhì)發(fā)生泄漏秕重。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,196評(píng)論 3 336
  • 文/蒙蒙 一厉膀、第九天 我趴在偏房一處隱蔽的房頂上張望溶耘。 院中可真熱鬧,春花似錦服鹅、人聲如沸凳兵。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,698評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)庐扫。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間形庭,已是汗流浹背铅辞。 一陣腳步聲響...
    開封第一講書人閱讀 33,804評(píng)論 1 274
  • 我被黑心中介騙來泰國(guó)打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留萨醒,地道東北人斟珊。 一個(gè)月前我還...
    沈念sama閱讀 49,287評(píng)論 3 379
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像富纸,于是被迫代替她去往敵國(guó)和親倍宾。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,860評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容

  • ---爬取伯樂在線所有文章--- 1胜嗓,scrapy安裝及目錄結(jié)構(gòu)介紹 電腦的基礎(chǔ)配置高职,需要的開發(fā)工具 基礎(chǔ)虛擬環(huán)境...
  • 今天爸爸媽媽說來家里玩,我很開心辞州,放下手中的工作好好陪陪他們怔锌。 我們住在六樓的原因,父母已經(jīng)很少來看我变过,上次來的時(shí)...
    朱泓默閱讀 549評(píng)論 1 8
  • 【0316能量按鈕】8280-Jane 推薦人:一連長(zhǎng)-牛牛的Annie 每天兩次埃元,清晨和深夜的三十分鐘到一個(gè)小時(shí)...
    遇柒ML閱讀 73評(píng)論 0 0
  • 昨夜夢(mèng)里失了方向,正心慌躊躇之際媚狰,恍惚前面有一個(gè)人在等我岛杀,我疾步向前,是爺爺崭孤,立刻釋然类嗤,欣喜地隨他牽了我離...
    悠悠蓮閱讀 564評(píng)論 5 8
  • 有人曾經(jīng)對(duì)被評(píng)為全國(guó)十佳少年的孩子進(jìn)行調(diào)查,發(fā)現(xiàn)這些孩子在閱讀能力都高于普通孩子辨宠;也有人曾經(jīng)對(duì)一些成功人士進(jìn)行采訪...
    gaosijiaoyu閱讀 288評(píng)論 0 1