一期Python爬蟲(chóng)群作業(yè)-Week2

加入爬蟲(chóng)群已經(jīng)第二周了岳颇,這周的作業(yè)是:

  1. 學(xué)習(xí)HTML
    http://www.w3school.com.cn/html/
  2. 學(xué)習(xí)正則表達(dá)式
    http://www.imooc.com/learn/550
  3. 試著爬一個(gè)網(wǎng)頁(yè)
    http://www.reibang.com/p/1c25e7f8cd74

這周的作業(yè)雖然沒(méi)有做的連滾帶爬,但是也不輕松。因?yàn)閷W(xué)習(xí)內(nèi)容有一個(gè)躍升型宝。事實(shí)上到現(xiàn)在所以還不是很熟練。特別是正則表達(dá)式部分,絕對(duì)是一眼暈。
后來(lái)還是看了《python核心編程》适袜。這本書(shū)的第一章就是正則(!)舷夺,內(nèi)容有40頁(yè)苦酱,所以講的滿透徹的(我能不能理解又是another story)。

這周可能有點(diǎn)混给猾,隨便看看正則馬上就到周四了疫萤,老師公布了爬蟲(chóng)作業(yè)。第一步是按照向右老師的代碼敲敢伸。這步還算挺順利的扯饶,主要遇到的坑是自己寫路徑,然后格式寫錯(cuò),寫正確路徑之后又遇到保護(hù)尾序,換了個(gè)盤就好了钓丰。

<u>urllib.urlretrieve(imgurl, ' G: /%s.jpg' % x)</u>

第二步是試著自己爬花瓣網(wǎng)(因?yàn)閳D片比較美貌)。這個(gè)網(wǎng)址不是以jpg gif結(jié)尾每币。我又很直接的用了右鍵 查看源代碼網(wǎng)頁(yè)斑粱,所以。后來(lái)向右老師提醒我脯爪,才記得要用檢查,才能看到正確的代碼:

如果用Chrome瀏覽器的右鍵-查看源代碼功能矿微,搜索 “<img ” 就只有一條結(jié)果痕慢,看代碼好像是 gif 文件


圖片.png

但是把鼠標(biāo)移到圖片上,右鍵選擇檢查涌矢,圖片的鏈接就是介個(gè)了:


圖片.png

所以掖举,<img src="([.*\S ] *)"

#coding = utf-8
import re
import urllib

def getHtml(url):
    page = urllib.urlopen(url)
    html= page.read()
    return html

html = getHtml('http://huaban.com/pins/1034928829/')

reg= r'<img src="([.*\S]*)"'

imgurls = re.findall(reg, html)

x=1
for imgurl in imgurls:
    print 'http:'+imgurl
    urllib.urlretrieve('http:'+imgurl, 'G://%s.jpg' % x)

    print "downloading %d"%x
    x +=1

先運(yùn)行的時(shí)候是報(bào)錯(cuò)的,還傻傻的不知道怎么回事娜庇,又跑去找大神看代碼塔次。向右老師加了個(gè) 'http:'+ 就行了,這就是內(nèi)行外行的區(qū)別啊...
老師語(yǔ)錄:要注意檢查url路徑

雖然作業(yè)都是抄的名秀,但爬出來(lái)的感覺(jué)還是很酸爽的...


圖片.png

這個(gè)代碼同時(shí)也爬了頭像励负,我后來(lái)手動(dòng)刪了。

好吧匕得,接下來(lái)是爬站酷網(wǎng)继榆。重復(fù)的代碼不寫了,其實(shí)就是改了兩條

......

html =  getHtml('http://www.zcool.com.cn/work/ZMjE1NjY2MzY=.html')

reg = r'src="([.*\S]*.jpg)"'

......

只爬下自己看中的一張圖汁掠,算是小ok吧略吨。作者其余帖子的沒(méi)爬下來(lái)】稼澹總是疑神疑鬼的覺(jué)得對(duì)方寫了保護(hù)翠忠。
總之不算很成功,初步了解而已乞榨,不過(guò)總是爬下來(lái)一個(gè)半網(wǎng)站秽之,給自己六十分吧

不關(guān)程序但小困擾的小白問(wèn)題:
運(yùn)行框中中文顯示不出來(lái)
無(wú)法運(yùn)行選中的一段程序
哪天緩過(guò)氣來(lái),解決一下姜凄!

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末政溃,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子态秧,更是在濱河造成了極大的恐慌董虱,老刑警劉巖,帶你破解...
    沈念sama閱讀 218,941評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異愤诱,居然都是意外死亡云头,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,397評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門淫半,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)溃槐,“玉大人,你說(shuō)我怎么就攤上這事科吭』璧危” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 165,345評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵对人,是天一觀的道長(zhǎng)谣殊。 經(jīng)常有香客問(wèn)我,道長(zhǎng)牺弄,這世上最難降的妖魔是什么姻几? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,851評(píng)論 1 295
  • 正文 為了忘掉前任,我火速辦了婚禮势告,結(jié)果婚禮上蛇捌,老公的妹妹穿的比我還像新娘。我一直安慰自己咱台,他們只是感情好络拌,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,868評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著吵护,像睡著了一般盒音。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上馅而,一...
    開(kāi)封第一講書(shū)人閱讀 51,688評(píng)論 1 305
  • 那天祥诽,我揣著相機(jī)與錄音,去河邊找鬼瓮恭。 笑死雄坪,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的屯蹦。 我是一名探鬼主播维哈,決...
    沈念sama閱讀 40,414評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼登澜!你這毒婦竟也來(lái)了阔挠?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 39,319評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤脑蠕,失蹤者是張志新(化名)和其女友劉穎购撼,沒(méi)想到半個(gè)月后放闺,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體鞋怀,經(jīng)...
    沈念sama閱讀 45,775評(píng)論 1 315
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡啃洋,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,945評(píng)論 3 336
  • 正文 我和宋清朗相戀三年欢嘿,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片揩局。...
    茶點(diǎn)故事閱讀 40,096評(píng)論 1 350
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡毫玖,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出凌盯,到底是詐尸還是另有隱情付枫,我是刑警寧澤,帶...
    沈念sama閱讀 35,789評(píng)論 5 346
  • 正文 年R本政府宣布驰怎,位于F島的核電站励背,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏砸西。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,437評(píng)論 3 331
  • 文/蒙蒙 一址儒、第九天 我趴在偏房一處隱蔽的房頂上張望芹枷。 院中可真熱鬧,春花似錦莲趣、人聲如沸鸳慈。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,993評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)走芋。三九已至,卻和暖如春潘鲫,著一層夾襖步出監(jiān)牢的瞬間翁逞,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,107評(píng)論 1 271
  • 我被黑心中介騙來(lái)泰國(guó)打工溉仑, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留挖函,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,308評(píng)論 3 372
  • 正文 我出身青樓浊竟,卻偏偏與公主長(zhǎng)得像怨喘,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子振定,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,037評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容

  • Android 自定義View的各種姿勢(shì)1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 172,167評(píng)論 25 707
  • 加入爬蟲(chóng)群第三周必怜,這周的作業(yè)是:008 - 爬蟲(chóng)處理流程及網(wǎng)頁(yè)解析009 - 使用XPath解析網(wǎng)頁(yè)010 - 使...
    只是不在意閱讀 746評(píng)論 0 3
  • 1 前言 作為一名合格的數(shù)據(jù)分析師,其完整的技術(shù)知識(shí)體系必須貫穿數(shù)據(jù)獲取后频、數(shù)據(jù)存儲(chǔ)梳庆、數(shù)據(jù)提取、數(shù)據(jù)分析、數(shù)據(jù)挖掘靠益、...
    whenif閱讀 18,074評(píng)論 45 523
  • 癥狀 iOS系統(tǒng) 開(kāi)啟了勿擾模式 通訊錄里的聯(lián)系人撥打電話進(jìn)來(lái)丧肴,第一次打不通,3分鐘內(nèi)連續(xù)撥打第二次就能打通 解決...
    OD分子閱讀 1,669評(píng)論 0 0
  • 文字:若木菡 迷花飛絮胧后,漫天瑩潔羽芋浮。玉宇瓊樓素裹。凝望眼壳快,烏云聚纸巷。 欲暮,孤鶩去眶痰。簾卷爐火語(yǔ)瘤旨。梅影橫窗空瘦,箋帛素...
    若木菡閱讀 383評(píng)論 22 33