python 爬蟲(chóng) 進(jìn)擊的巨人

import urllib2
import os
import re

chapter = 1
while(chapter <= 69):

    dir = 'G:\\python data\\' + str(chapter)
    os.mkdir(dir)
    os.chdir(dir)
    URL = 'http://jj.xxdm.org/manhua/jjdjrmh/' + str(chapter) + '.shtml'
    response = urllib2.urlopen(URL).read()
    
    Urls = re.findall(r'/uploads/mh/jj/\d{3,5}/\d{2,4}\.\w{3}', response)
    page = 1
    for url in Urls:
        pic = urllib2.urlopen('http://pic.xxdm.com/' + url).read()
        print url
        with open(str(page) + '.jpg', 'wb') as f:
            f.write(pic)
        page = page + 1
    chapter = chapter + 1

用不來(lái)scrapy。最后沒(méi)有用這個(gè)框架悲没,反而簡(jiǎn)單很多篮迎。
但是很慢,真的特別慢示姿。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末甜橱,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子栈戳,更是在濱河造成了極大的恐慌岂傲,老刑警劉巖,帶你破解...
    沈念sama閱讀 212,884評(píng)論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件子檀,死亡現(xiàn)場(chǎng)離奇詭異镊掖,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)褂痰,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,755評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門亩进,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人缩歪,你說(shuō)我怎么就攤上這事归薛。” “怎么了匪蝙?”我有些...
    開(kāi)封第一講書(shū)人閱讀 158,369評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵主籍,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我逛球,道長(zhǎng)千元,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,799評(píng)論 1 285
  • 正文 為了忘掉前任颤绕,我火速辦了婚禮幸海,結(jié)果婚禮上奥务,老公的妹妹穿的比我還像新娘汗洒。我一直安慰自己瞻凤,他們只是感情好阀参,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,910評(píng)論 6 386
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著,像睡著了一般砌函。 火紅的嫁衣襯著肌膚如雪讹俊。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 50,096評(píng)論 1 291
  • 那天诬像,我揣著相機(jī)與錄音,去河邊找鬼降狠。 笑死,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的膜廊。 我是一名探鬼主播,決...
    沈念sama閱讀 39,159評(píng)論 3 411
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼丹喻!你這毒婦竟也來(lái)了薄货?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 37,917評(píng)論 0 268
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤碍论,失蹤者是張志新(化名)和其女友劉穎菲驴,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體骑冗,經(jīng)...
    沈念sama閱讀 44,360評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡赊瞬,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,673評(píng)論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了贼涩。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片巧涧。...
    茶點(diǎn)故事閱讀 38,814評(píng)論 1 341
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖遥倦,靈堂內(nèi)的尸體忽然破棺而出谤绳,到底是詐尸還是另有隱情,我是刑警寧澤袒哥,帶...
    沈念sama閱讀 34,509評(píng)論 4 334
  • 正文 年R本政府宣布缩筛,位于F島的核電站,受9級(jí)特大地震影響堡称,放射性物質(zhì)發(fā)生泄漏瞎抛。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 40,156評(píng)論 3 317
  • 文/蒙蒙 一却紧、第九天 我趴在偏房一處隱蔽的房頂上張望桐臊。 院中可真熱鬧,春花似錦晓殊、人聲如沸断凶。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,882評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)认烁。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間却嗡,已是汗流浹背次伶。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,123評(píng)論 1 267
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留稽穆,地道東北人冠王。 一個(gè)月前我還...
    沈念sama閱讀 46,641評(píng)論 2 362
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像舌镶,于是被迫代替她去往敵國(guó)和親柱彻。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,728評(píng)論 2 351

推薦閱讀更多精彩內(nèi)容

  • Android 自定義View的各種姿勢(shì)1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 171,871評(píng)論 25 707
  • 序言第1章 Scrapy介紹第2章 理解HTML和XPath第3章 爬蟲(chóng)基礎(chǔ)第4章 從Scrapy到移動(dòng)應(yīng)用第5章...
    SeanCheney閱讀 15,054評(píng)論 13 61
  • 1.概述 分組餐胀,所謂的分組就是將一個(gè)“數(shù)據(jù)集”劃分成若干個(gè)“小區(qū)域”哟楷,然后針對(duì)若干個(gè)“小區(qū)域”進(jìn)行數(shù)據(jù)處理。 2....
    禾線子閱讀 443評(píng)論 0 0
  • 記得一天的上午否灾,爸爸媽媽去農(nóng)田里干活去了卖擅,我們幾個(gè)小孩在家里玩,玩泥巴墨技、捉迷藏惩阶、突然濃煙滾滾,躲在雞窩里的我嗆了出...
    bd751cbf97c6閱讀 305評(píng)論 0 1
  • 今天心情不好扣汪,前同事打趣兒說(shuō)要不喝兩杯断楷。豈料她說(shuō)的是茶,我說(shuō)的是酒崭别。 去了梅林一家人氣很旺的烤肉店冬筒,點(diǎn)了三葷一素,...
    WENDANWU閱讀 209評(píng)論 0 0