Python豆瓣爬蟲學(xué)習(xí)筆記(二)

學(xué)習(xí)階段二(update:2014-3-25):實現(xiàn)功能:代碼中加入for循環(huán),批量抓取全部tag平绩,存放到本地txt代碼如下:

# -*- coding: cp936 -*-

import urllib2

import re

raw_text=urllib2.urlopen('http://movie.douban.com/tag/?view=type').read()

text0=re.findall('"./.*?"',raw_text)#初步抓取tag务嫡,findall輸出為list

text1=''.join(text0)#list轉(zhuǎn)str闸迷,方便replace

text2=text1.replace('"./','').replace('"','\n')#tag提取完成

text3=[]#新建空list冒签,方便后面append

for text4 in text2.split('\n'):#for in對象需為list,用split將str轉(zhuǎn)為list

tagurl='http://movie.douban.com/tag/%s'%text4#講URL前綴同tag拼接笔诵,方便后期多tag抓取

text3.append(tagurl)#循環(huán)賦值到空列表

text5='\n'.join(text3)#排版格式返吻,\n換行符

e=file('douban_movie6.txt','w')

e.write(text5)

e.close()

運行結(jié)果:

學(xué)習(xí)總結(jié):1、多用print乎婿,不僅可以幫助自己更好的排查錯誤测僵,也可以更好的理解程序的運行邏輯。2谢翎、多用print type()『纯浚現(xiàn)階段對每種函數(shù)生成結(jié)果的存儲類型還不熟悉,根據(jù)想當然的思路寫通常會報錯岳服,都是數(shù)據(jù)類型不支持。3希俩、初步明白for in的用法吊宋,對% 用法進一步了解4、list.append() 進一步了解颜武。接觸一種函數(shù)不僅要明白怎么用璃搜,還得留意函數(shù)輸出后的數(shù)據(jù)類型

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市鳞上,隨后出現(xiàn)的幾起案子这吻,更是在濱河造成了極大的恐慌,老刑警劉巖篙议,帶你破解...
    沈念sama閱讀 212,884評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件唾糯,死亡現(xiàn)場離奇詭異怠硼,居然都是意外死亡,警方通過查閱死者的電腦和手機移怯,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,755評論 3 385
  • 文/潘曉璐 我一進店門香璃,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人舟误,你說我怎么就攤上這事葡秒。” “怎么了嵌溢?”我有些...
    開封第一講書人閱讀 158,369評論 0 348
  • 文/不壞的土叔 我叫張陵眯牧,是天一觀的道長。 經(jīng)常有香客問我赖草,道長学少,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,799評論 1 285
  • 正文 為了忘掉前任疚顷,我火速辦了婚禮旱易,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘腿堤。我一直安慰自己阀坏,他們只是感情好,可當我...
    茶點故事閱讀 65,910評論 6 386
  • 文/花漫 我一把揭開白布笆檀。 她就那樣靜靜地躺著忌堂,像睡著了一般。 火紅的嫁衣襯著肌膚如雪酗洒。 梳的紋絲不亂的頭發(fā)上士修,一...
    開封第一講書人閱讀 50,096評論 1 291
  • 那天,我揣著相機與錄音樱衷,去河邊找鬼棋嘲。 笑死,一個胖子當著我的面吹牛矩桂,可吹牛的內(nèi)容都是我干的沸移。 我是一名探鬼主播,決...
    沈念sama閱讀 39,159評論 3 411
  • 文/蒼蘭香墨 我猛地睜開眼侄榴,長吁一口氣:“原來是場噩夢啊……” “哼雹锣!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起癞蚕,我...
    開封第一講書人閱讀 37,917評論 0 268
  • 序言:老撾萬榮一對情侶失蹤蕊爵,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后桦山,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體攒射,經(jīng)...
    沈念sama閱讀 44,360評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡醋旦,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,673評論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了匆篓。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片浑度。...
    茶點故事閱讀 38,814評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖鸦概,靈堂內(nèi)的尸體忽然破棺而出箩张,到底是詐尸還是另有隱情,我是刑警寧澤窗市,帶...
    沈念sama閱讀 34,509評論 4 334
  • 正文 年R本政府宣布先慷,位于F島的核電站,受9級特大地震影響咨察,放射性物質(zhì)發(fā)生泄漏论熙。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 40,156評論 3 317
  • 文/蒙蒙 一摄狱、第九天 我趴在偏房一處隱蔽的房頂上張望脓诡。 院中可真熱鬧,春花似錦媒役、人聲如沸祝谚。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,882評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽交惯。三九已至,卻和暖如春穿仪,著一層夾襖步出監(jiān)牢的瞬間席爽,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,123評論 1 267
  • 我被黑心中介騙來泰國打工啊片, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留只锻,地道東北人。 一個月前我還...
    沈念sama閱讀 46,641評論 2 362
  • 正文 我出身青樓紫谷,卻偏偏與公主長得像齐饮,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子碴里,可洞房花燭夜當晚...
    茶點故事閱讀 43,728評論 2 351

推薦閱讀更多精彩內(nèi)容