Python爬蟲(chóng)(一)--豆瓣電影抓站小結(jié)(成功抓取Top100電影)

python爬蟲(chóng)學(xué)習(xí)給自己定下的第一個(gè)小目標(biāo), 加油!
也希望能得到python大大們的指點(diǎn), 感謝!


1. 豆瓣抓站流程

  1. 分析url特征(菜鳥(niǎo)階段)
  2. 對(duì)需要抓取的數(shù)據(jù)設(shè)計(jì)正則表達(dá)式
  3. 處理HTML中一些特征字符,換行符等

注意異常的處理和字符編碼的處理

2. 實(shí)現(xiàn)的功能

簡(jiǎn)單的實(shí)現(xiàn)了抓取豆瓣電影Top100的電影名稱(chēng)

3. 后期工作展望

  • 抓取更多的有用數(shù)據(jù)(如:準(zhǔn)確抓取導(dǎo)演, 抓取一個(gè)電影評(píng)論)
  • 使用多線(xiàn)程爬蟲(chóng)
  • 學(xué)習(xí)第三方的爬蟲(chóng)框架(Scrapy)
  • 深入理解HTML編碼和文本處理

4. 輸出結(jié)果

Top1 肖申克的救贖
Top2 這個(gè)殺手不太冷
Top3 阿甘正傳
Top4 霸王別姬
Top5 美麗人生
Top6 海上鋼琴師
Top7 辛德勒的名單
Top8 千與千尋
Top9 機(jī)器人總動(dòng)員
Top10 三傻大鬧寶萊塢
Top11 泰坦尼克號(hào)
Top12 盜夢(mèng)空間
Top13 放牛班的春天
Top14 龍貓
Top15 忠犬八公的故事
Top16 教父
Top17 大話(huà)西游之大圣娶親
Top18 亂世佳人
Top19 天堂電影院
Top20 搏擊俱樂(lè)部
Top21 當(dāng)幸福來(lái)敲門(mén)
Top22 羅馬假日
Top23 楚門(mén)的世界
Top24 海豚灣
Top25 指環(huán)王3:王者無(wú)敵
Top26 兩桿大煙槍
Top27 天空之城
Top28 飛越瘋?cè)嗽?Top29 觸不可及
Top30 飛屋環(huán)游記
Top31 十二怒漢
Top32 鬼子來(lái)了
Top33 天使愛(ài)美麗
Top34 大話(huà)西游之月光寶盒
Top35 竊聽(tīng)風(fēng)暴
Top36 V字仇殺隊(duì)
Top37 怦然心動(dòng)
Top38 無(wú)間道
Top39 聞香識(shí)女人
Top40 蝙蝠俠:黑暗騎士
Top41 美麗心靈
Top42 指環(huán)王2:雙塔奇兵
Top43 指環(huán)王1:魔戒再現(xiàn)
Top44 剪刀手愛(ài)德華
Top45 活著
Top46 教父2
Top47 七宗罪
Top48 勇敢的心
Top49 情書(shū)
Top50 哈爾的移動(dòng)城堡
Top51 熔爐
Top52 美國(guó)往事
Top53 死亡詩(shī)社
Top54 音樂(lè)之聲
Top55 鋼琴家
Top56 小鞋子
Top57 被嫌棄的松子的一生
Top58 獅子王
Top59 致命魔術(shù)
Top60 瑪麗和馬克思
Top61 低俗小說(shuō)
Top62 入殮師
Top63 蝴蝶效應(yīng)
Top64 少年派的奇幻漂流
Top65 沉默的羔羊
Top66 大魚(yú)
Top67 射雕英雄傳之東成西就
Top68 陽(yáng)光燦爛的日子
Top69 本杰明·巴頓奇事
Top70 幽靈公主
Top71 第六感
Top72 讓子彈飛
Top73 黑客帝國(guó)
Top74 拯救大兵瑞恩
Top75 上帝之城
Top76 螢火蟲(chóng)之墓
Top77 陽(yáng)光姐妹淘
Top78 心靈捕手
Top79 飲食男女
Top80 大鬧天宮
Top81 西西里的美麗傳說(shuō)
Top82 海洋
Top83 一一
Top84 重慶森林
Top85 燃情歲月
Top86 愛(ài)在黎明破曉前
Top87 愛(ài)在日落黃昏時(shí)
Top88 風(fēng)之谷
Top89 春光乍泄
Top90 虎口脫險(xiǎn)
Top91 加勒比海盜
Top92 告白
Top93 側(cè)耳傾聽(tīng)
Top94 甜蜜蜜
Top95 阿凡達(dá)
Top96 菊次郎的夏天
Top97 馴龍高手
Top98 真愛(ài)至上
Top99 致命ID
Top100 超脫

5. 豆瓣抓站源代碼

抓站源代碼鏈接
個(gè)人使用的Python編碼規(guī)范
python正則表達(dá)式小計(jì)

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末凭迹,一起剝皮案震驚了整個(gè)濱河市姆打,隨后出現(xiàn)的幾起案子标锄,更是在濱河造成了極大的恐慌藻三,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,470評(píng)論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件檀何,死亡現(xiàn)場(chǎng)離奇詭異辞槐,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)全封,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,393評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門(mén)马昙,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)桃犬,“玉大人,你說(shuō)我怎么就攤上這事行楞≡芟荆” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 162,577評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵子房,是天一觀(guān)的道長(zhǎng)形用。 經(jīng)常有香客問(wèn)我,道長(zhǎng)证杭,這世上最難降的妖魔是什么尾序? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,176評(píng)論 1 292
  • 正文 為了忘掉前任,我火速辦了婚禮躯砰,結(jié)果婚禮上每币,老公的妹妹穿的比我還像新娘。我一直安慰自己琢歇,他們只是感情好兰怠,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,189評(píng)論 6 388
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著李茫,像睡著了一般揭保。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上魄宏,一...
    開(kāi)封第一講書(shū)人閱讀 51,155評(píng)論 1 299
  • 那天秸侣,我揣著相機(jī)與錄音,去河邊找鬼宠互。 笑死味榛,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的予跌。 我是一名探鬼主播搏色,決...
    沈念sama閱讀 40,041評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼券册!你這毒婦竟也來(lái)了频轿?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 38,903評(píng)論 0 274
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤烁焙,失蹤者是張志新(化名)和其女友劉穎航邢,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體骄蝇,經(jīng)...
    沈念sama閱讀 45,319評(píng)論 1 310
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡膳殷,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,539評(píng)論 2 332
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了乞榨。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片秽之。...
    茶點(diǎn)故事閱讀 39,703評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖吃既,靈堂內(nèi)的尸體忽然破棺而出考榨,到底是詐尸還是另有隱情,我是刑警寧澤鹦倚,帶...
    沈念sama閱讀 35,417評(píng)論 5 343
  • 正文 年R本政府宣布河质,位于F島的核電站,受9級(jí)特大地震影響震叙,放射性物質(zhì)發(fā)生泄漏掀鹅。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,013評(píng)論 3 325
  • 文/蒙蒙 一媒楼、第九天 我趴在偏房一處隱蔽的房頂上張望乐尊。 院中可真熱鬧,春花似錦划址、人聲如沸扔嵌。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,664評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)痢缎。三九已至,卻和暖如春世澜,著一層夾襖步出監(jiān)牢的瞬間独旷,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,818評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工寥裂, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留嵌洼,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 47,711評(píng)論 2 368
  • 正文 我出身青樓封恰,卻偏偏與公主長(zhǎng)得像咱台,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子俭驮,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,601評(píng)論 2 353

推薦閱讀更多精彩內(nèi)容