第一次的爬蟲(chóng)

????????記錄一下折騰了近一天的爬蟲(chóng)過(guò)程祝迂。

????????學(xué)習(xí)python半月以來(lái)姐军,算是頗有收獲侦副。還以為自己已經(jīng)掌握了許多知識(shí)侦锯,沒(méi)想到寫(xiě)個(gè)網(wǎng)站的爬蟲(chóng)代碼竟折騰了一天,若非道友相助秦驯,怕是今晚都沒(méi)法睡覺(jué)了尺碰。(沒(méi)辦法,栽在了一個(gè)我都不知道為什么這樣處理的問(wèn)題上)。為了不能讓今日的辛苦白白付出亲桥,還是要寫(xiě)一篇總結(jié)洛心,來(lái)提煉一下今日的收獲。(ps:本人小白题篷,大神看見(jiàn)勿噴词身,不過(guò)其中有錯(cuò)還望指點(diǎn)一二,哈哈)

? ? ? ? 此次爬蟲(chóng)其實(shí)也沒(méi)用到什么復(fù)雜的框架番枚,只是跟著慕課網(wǎng)的一個(gè)爬蟲(chóng)教程學(xué)習(xí)了一下法严,便著手開(kāi)始了自己的爬蟲(chóng)之旅。通過(guò)本次對(duì)斗魚(yú)網(wǎng)站的爬蟲(chóng)葫笼,可將網(wǎng)頁(yè)爬蟲(chóng)的過(guò)程逐個(gè)分為以下幾個(gè)部分:

????????一深啤、獲取網(wǎng)頁(yè)內(nèi)容


? ? ? ? 二、定義正則表達(dá)式


說(shuō)來(lái)也是辛酸路星,其實(shí)整體的代碼早就已經(jīng)寫(xiě)好了溯街,問(wèn)題一直出在正則表達(dá)式上卻遲遲得不到解決。最后道友出面為我做法洋丐,解決的方式竟然是在第三個(gè)正則的fr”后加兩個(gè)空格呈昔。我真的搞不懂是為啥,道友也不知道...且看且學(xué)吧友绝。不得不說(shuō)網(wǎng)頁(yè)爬蟲(chóng)的過(guò)程中正則的運(yùn)用應(yīng)該是最難的地方了

????????三堤尾、提取網(wǎng)頁(yè)中自己所需內(nèi)容


當(dāng)然了,提取內(nèi)容首先要定義好正則表達(dá)式迁客,在將與之匹配的內(nèi)容集成字典哀峻,收入到一個(gè)列表當(dāng)中。

? ? ? ? 四哲泊、定義函數(shù)優(yōu)化列表中字典值的內(nèi)容格式


由于之前根據(jù)正則表達(dá)式匹配到的內(nèi)容格式實(shí)在不堪入眼,需要定義一個(gè)函數(shù)來(lái)將其進(jìn)行優(yōu)化(實(shí)際優(yōu)化方法需要根據(jù)上一階段調(diào)試中返回的字典中值的格式來(lái)進(jìn)行確定)催蝗。

? ? ? ? 五切威、排序

? ? ? ? 其中分為兩個(gè)部分:

? ? ? ? 1、對(duì)優(yōu)化格式后的列表按需進(jìn)行排序


排序當(dāng)然離不開(kāi)sorted方法了丙号,不過(guò)由于列表中的元素都是字典先朦,排序時(shí),需自定義排序規(guī)則犬缨。于是便有了下面的步驟:

? ? ? ? 2喳魏、定義排序方式


將排序所需的依據(jù),也就是字典中number對(duì)應(yīng)的值化為統(tǒng)一的格式怀薛。

? ? 六刺彩、定義入口方法


上述定義的所有方法都是私有方法,故需定義一個(gè)入口方法來(lái)調(diào)用,并在最后對(duì)排序之后的內(nèi)容再做調(diào)整并增加排名创倔。

? ? 以上就是網(wǎng)頁(yè)爬蟲(chóng)過(guò)程中幾大主要的步驟了嗡害。當(dāng)然爬蟲(chóng)的世界是浩瀚無(wú)垠的,本次爬蟲(chóng)案例也十分簡(jiǎn)單畦攘,只可稱(chēng)之為滄海一粟霸妹。但是麻雀雖小,五臟俱全知押,思考的過(guò)程還是值得借鑒的叹螟!

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市台盯,隨后出現(xiàn)的幾起案子罢绽,更是在濱河造成了極大的恐慌,老刑警劉巖爷恳,帶你破解...
    沈念sama閱讀 222,729評(píng)論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件有缆,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡温亲,警方通過(guò)查閱死者的電腦和手機(jī)棚壁,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,226評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)栈虚,“玉大人袖外,你說(shuō)我怎么就攤上這事』晡瘢” “怎么了曼验?”我有些...
    開(kāi)封第一講書(shū)人閱讀 169,461評(píng)論 0 362
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)粘姜。 經(jīng)常有香客問(wèn)我鬓照,道長(zhǎng),這世上最難降的妖魔是什么孤紧? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 60,135評(píng)論 1 300
  • 正文 為了忘掉前任豺裆,我火速辦了婚禮,結(jié)果婚禮上号显,老公的妹妹穿的比我還像新娘臭猜。我一直安慰自己,他們只是感情好押蚤,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,130評(píng)論 6 398
  • 文/花漫 我一把揭開(kāi)白布蔑歌。 她就那樣靜靜地躺著,像睡著了一般揽碘。 火紅的嫁衣襯著肌膚如雪次屠。 梳的紋絲不亂的頭發(fā)上园匹,一...
    開(kāi)封第一講書(shū)人閱讀 52,736評(píng)論 1 312
  • 那天,我揣著相機(jī)與錄音帅矗,去河邊找鬼偎肃。 笑死,一個(gè)胖子當(dāng)著我的面吹牛浑此,可吹牛的內(nèi)容都是我干的累颂。 我是一名探鬼主播,決...
    沈念sama閱讀 41,179評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼凛俱,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼紊馏!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起蒲犬,我...
    開(kāi)封第一講書(shū)人閱讀 40,124評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤朱监,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后原叮,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體赫编,經(jīng)...
    沈念sama閱讀 46,657評(píng)論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,723評(píng)論 3 342
  • 正文 我和宋清朗相戀三年奋隶,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了擂送。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,872評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡唯欣,死狀恐怖嘹吨,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情境氢,我是刑警寧澤蟀拷,帶...
    沈念sama閱讀 36,533評(píng)論 5 351
  • 正文 年R本政府宣布,位于F島的核電站萍聊,受9級(jí)特大地震影響问芬,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜寿桨,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,213評(píng)論 3 336
  • 文/蒙蒙 一愈诚、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧牛隅,春花似錦、人聲如沸酌泰。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,700評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)陵刹。三九已至默伍,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背也糊。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,819評(píng)論 1 274
  • 我被黑心中介騙來(lái)泰國(guó)打工炼蹦, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人狸剃。 一個(gè)月前我還...
    沈念sama閱讀 49,304評(píng)論 3 379
  • 正文 我出身青樓掐隐,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親钞馁。 傳聞我的和親對(duì)象是個(gè)殘疾皇子虑省,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,876評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容

  • Android 自定義View的各種姿勢(shì)1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 172,332評(píng)論 25 707
  • 33款可用來(lái)抓數(shù)據(jù)的開(kāi)源爬蟲(chóng)軟件工具 要玩大數(shù)據(jù),沒(méi)有數(shù)據(jù)怎么玩僧凰?這里推薦一些33款開(kāi)源爬蟲(chóng)軟件給大家探颈。 爬蟲(chóng),即...
    visiontry閱讀 7,342評(píng)論 1 99
  • 要玩大數(shù)據(jù),沒(méi)有數(shù)據(jù)怎么玩绩鸣?這里推薦一些33款開(kāi)源爬蟲(chóng)軟件給大家怀大。 爬蟲(chóng),即網(wǎng)絡(luò)爬蟲(chóng)全闷,是一種自動(dòng)獲取網(wǎng)頁(yè)內(nèi)容的程序...
    評(píng)評(píng)分分閱讀 8,004評(píng)論 2 121
  • 無(wú)畏于低谷叉寂,有道于高峰!2017年总珠,是文化經(jīng)管學(xué)院的重組年屏鳍、融合年、突破年局服!因?yàn)閮?yōu)秀钓瞭,一位位來(lái)自五湖四海的有志青年...
    Adrian17閱讀 222評(píng)論 0 0
  • 這是以前寫(xiě)的一篇小文。 毫無(wú)例外淫奔,今年院子里又來(lái)了一對(duì)麻雀山涡!可以肯定的是,絕對(duì)不是去年的那對(duì)唆迁。不是我對(duì)麻雀有多么細(xì)...
    甑容兒閱讀 262評(píng)論 0 0