python爬蟲(chóng)學(xué)習(xí)給自己定下的第一個(gè)小目標(biāo), 加油!
也希望能得到python大大們的指點(diǎn), 感謝!
1. 豆瓣抓站流程
- 分析url特征(
菜鳥(niǎo)階段) - 對(duì)需要抓取的數(shù)據(jù)設(shè)計(jì)正則表達(dá)式
- 處理HTML中一些特征字符,換行符等
注意異常的處理和字符編碼的處理
2. 實(shí)現(xiàn)的功能
簡(jiǎn)單的實(shí)現(xiàn)了抓取豆瓣電影Top100的電影名稱(chēng)
3. 后期工作展望
- 抓取更多的有用數(shù)據(jù)(如:準(zhǔn)確抓取導(dǎo)演, 抓取一個(gè)電影評(píng)論)
- 使用多線(xiàn)程爬蟲(chóng)
- 學(xué)習(xí)第三方的爬蟲(chóng)框架(
Scrapy) - 深入理解HTML編碼和文本處理
4. 輸出結(jié)果
Top1 肖申克的救贖
Top2 這個(gè)殺手不太冷
Top3 阿甘正傳
Top4 霸王別姬
Top5 美麗人生
Top6 海上鋼琴師
Top7 辛德勒的名單
Top8 千與千尋
Top9 機(jī)器人總動(dòng)員
Top10 三傻大鬧寶萊塢
Top11 泰坦尼克號(hào)
Top12 盜夢(mèng)空間
Top13 放牛班的春天
Top14 龍貓
Top15 忠犬八公的故事
Top16 教父
Top17 大話(huà)西游之大圣娶親
Top18 亂世佳人
Top19 天堂電影院
Top20 搏擊俱樂(lè)部
Top21 當(dāng)幸福來(lái)敲門(mén)
Top22 羅馬假日
Top23 楚門(mén)的世界
Top24 海豚灣
Top25 指環(huán)王3：王者無(wú)敵
Top26 兩桿大煙槍
Top27 天空之城
Top28 飛越瘋?cè)嗽?Top29 觸不可及
Top30 飛屋環(huán)游記
Top31 十二怒漢
Top32 鬼子來(lái)了
Top33 天使愛(ài)美麗
Top34 大話(huà)西游之月光寶盒
Top35 竊聽(tīng)風(fēng)暴
Top36 V字仇殺隊(duì)
Top37 怦然心動(dòng)
Top38 無(wú)間道
Top39 聞香識(shí)女人
Top40 蝙蝠俠：黑暗騎士
Top41 美麗心靈
Top42 指環(huán)王2：雙塔奇兵
Top43 指環(huán)王1：魔戒再現(xiàn)
Top44 剪刀手愛(ài)德華
Top45 活著
Top46 教父2
Top47 七宗罪
Top48 勇敢的心
Top49 情書(shū)
Top50 哈爾的移動(dòng)城堡
Top51 熔爐
Top52 美國(guó)往事
Top53 死亡詩(shī)社
Top54 音樂(lè)之聲
Top55 鋼琴家
Top56 小鞋子
Top57 被嫌棄的松子的一生
Top58 獅子王
Top59 致命魔術(shù)
Top60 瑪麗和馬克思
Top61 低俗小說(shuō)
Top62 入殮師
Top63 蝴蝶效應(yīng)
Top64 少年派的奇幻漂流
Top65 沉默的羔羊
Top66 大魚(yú)
Top67 射雕英雄傳之東成西就
Top68 陽(yáng)光燦爛的日子
Top69 本杰明·巴頓奇事
Top70 幽靈公主
Top71 第六感
Top72 讓子彈飛
Top73 黑客帝國(guó)
Top74 拯救大兵瑞恩
Top75 上帝之城
Top76 螢火蟲(chóng)之墓
Top77 陽(yáng)光姐妹淘
Top78 心靈捕手
Top79 飲食男女
Top80 大鬧天宮
Top81 西西里的美麗傳說(shuō)
Top82 海洋
Top83 一一
Top84 重慶森林
Top85 燃情歲月
Top86 愛(ài)在黎明破曉前
Top87 愛(ài)在日落黃昏時(shí)
Top88 風(fēng)之谷
Top89 春光乍泄
Top90 虎口脫險(xiǎn)
Top91 加勒比海盜
Top92 告白
Top93 側(cè)耳傾聽(tīng)
Top94 甜蜜蜜
Top95 阿凡達(dá)
Top96 菊次郎的夏天
Top97 馴龍高手
Top98 真愛(ài)至上
Top99 致命ID
Top100 超脫
