我的第一條爬蟲

一直都知道爬蟲很厲害版扩,也一直都想學,但是也一直拖到現(xiàn)在才開始寫甜刻。終于終于绍撞,今天寫了第一條爬蟲,開心:D非常感謝莫煩得院。一激動就決定“贊助”一下我們的“莫煩”大哥傻铣。所有的代碼 莫煩PYTHON上面都有,我也不當搬運工了祥绞。今天還是想在這個學術的非洲,神圣的地方撒撒雞湯。
2018年已經過去9天了⊥删叮現(xiàn)在覺著這句話很對“小時候覺得時間過得很慢两踏,過了二十幾歲以后,感覺時間真的是轉瞬即逝兜喻±掳辏”18年,17年虹统,每次在兩年交接的時候就會傻傻分不清到底是哪一年弓坞。所以最近在寫日期的時候寫成2017年* 月 *日。也許是一種慣性车荔。
慣性不知道算不算是一種“拖延”渡冻。因為我覺得自己的拖延癥越來越嚴重了。算是今天寫了爬蟲的代碼的一點感想吧忧便。我發(fā)現(xiàn)其實你真正動身去做的時候族吻,很多事情真的沒有你想象得那么難。
我之前也嘗試過寫過珠增,每一次在吹起號角的時候就敗下陣來超歌。有時候是士氣低迷,有時候是戰(zhàn)靴的鞋帶沒有綁好蒂教,有時候是不知道敵人在哪里巍举。
我有很多事情需要去做。但是我常衬猓花太多的時間在“準備”->"放棄"做這些事情上懊悯。也可能是蜓谋,我沒有找到做一件事情對的路子。
所以還是特別特別感謝“莫煩大神”炭分,對于帶我入門這件事情上桃焕,他幫了我很多。比如寫爬蟲這件事情捧毛,首先你要知道學習這個有什么用處观堂,知道:

第一,你為什么要學呀忧。

莫煩在視頻里show了一下他自己做的悉尼各個區(qū)域的租房價格的表格师痕。這一下子就讓我有了學習的興趣。因為畢業(yè)以后荐虐,我也會租房子,我要是可以像他一樣爬取房租數據丸凭,一定是一件很cool的事情福扬。所以我決定一定要學爬蟲。

第二惜犀,要知道你面對的“敵人”是誰

對于爬蟲而言铛碑,它要爬取的是網頁,所以你要大概了解一下網頁的大體結構虽界。
是不是很簡單易懂

但其實網頁的結構是一件很復雜很復雜的事情汽烦,我之前也學過一段時間,真的超級復雜莉御。我覺得它就是一個沒什么邏輯性的東西撇吞。要是擱以前,我估計學到這里礁叔,又會鉆到這個“大天坑”里牍颈,然后搗鼓一段時間,最后放棄琅关。莫煩告訴我們煮岁,學習爬蟲,你不需要對css語法涣易,html語法有太多的了解画机,知道個大概就可以了。把我又拉回來一次新症。

第三步氏,怎么"打"

兵器是什么?工欲善其事徒爹,必先利其器戳护。剖析網頁python有一利器就是BeautifulSoup金抡。我之前自己看書也看過,但是覺得看和沒看沒有兩樣腌且。直到莫煩一句簡單明了的話梗肝,給BeautifulSoup一個定位:

我們總結一下爬網頁的流程, 讓你對 BeautifulSoup 有一個更好的定位.
1. 選著要爬的網址 (url)
2. 使用 python 登錄上這個網址 (urlopen等)
3. 讀取網頁信息 (read() 出來)
4. 將讀取的信息放入 BeautifulSoup
使用 BeautifulSoup 選取 tag 信息等 (代替正則表達式)

html = urlopen(url).read().decode('utf-8')
soup = BeautifulSoup(html,features='lxml')

你可以想象一下,用python登入然后讀取出來的網頁內容html铺董,經過BeautifulSoup 的“手”巫击,就變成了一道美味的soup啦。
這碗soup里精续,要什么有什么坝锰。你想要<h1>標簽的內容

head = soup.find('h1').get_text()

大概的爬蟲就是這樣一個過程。但是為了更好地擊敗敵人重付,兵不厭詐顷级,還需要一些戰(zhàn)術。

第四确垫,奇門遁甲

就是我們的正則表達式弓颈。這個東西,我之前也學過删掀。但是翔冀,用得迷迷糊糊的。(我發(fā)現(xiàn)披泪,我看過的東西是挺多的纤子,但是都很零碎,所以很容易就忘)這一次,看了莫煩的教程,然后自己再回憶一下涝桅,覺得正則表達式也沒有那么復雜了偎箫。可能也是讀書百遍,其義自現(xiàn)吧。
小抄
img_links = soup.find_all('img',{'src':re.compile(".*?\.jpg")})

利用正則表達式可以找出格式為jpg的圖片鏈接。

第五 说订,養(yǎng)兵千日 用兵一時

上面講到大概就是一個簡答爬蟲的流程。然后就開始爬簡答的百度詞條潮瓶。
代碼見 莫煩PYTHON或者是我的github

我的結果
很簡單的一個爬蟲程序陶冷,我知道啥也不是。但是對于我而言毯辅,卻是一大步埂伦。爬蟲剛剛孵出,還需要很長的時間去改進思恐。我也會一直更新我的爬蟲日記沾谜,讓它越來越強大膊毁!

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市基跑,隨后出現(xiàn)的幾起案子婚温,更是在濱河造成了極大的恐慌,老刑警劉巖媳否,帶你破解...
    沈念sama閱讀 217,542評論 6 504
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件栅螟,死亡現(xiàn)場離奇詭異,居然都是意外死亡篱竭,警方通過查閱死者的電腦和手機力图,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,822評論 3 394
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來掺逼,“玉大人吃媒,你說我怎么就攤上這事÷来” “怎么了赘那?”我有些...
    開封第一講書人閱讀 163,912評論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長兽泄。 經常有香客問我漓概,道長漾月,這世上最難降的妖魔是什么病梢? 我笑而不...
    開封第一講書人閱讀 58,449評論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮梁肿,結果婚禮上蜓陌,老公的妹妹穿的比我還像新娘。我一直安慰自己吩蔑,他們只是感情好钮热,可當我...
    茶點故事閱讀 67,500評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著烛芬,像睡著了一般隧期。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上赘娄,一...
    開封第一講書人閱讀 51,370評論 1 302
  • 那天仆潮,我揣著相機與錄音,去河邊找鬼遣臼。 笑死性置,一個胖子當著我的面吹牛,可吹牛的內容都是我干的揍堰。 我是一名探鬼主播鹏浅,決...
    沈念sama閱讀 40,193評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼嗅义,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了隐砸?” 一聲冷哼從身側響起之碗,我...
    開封第一講書人閱讀 39,074評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎凰萨,沒想到半個月后继控,有當地人在樹林里發(fā)現(xiàn)了一具尸體,經...
    沈念sama閱讀 45,505評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡胖眷,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,722評論 3 335
  • 正文 我和宋清朗相戀三年武通,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片珊搀。...
    茶點故事閱讀 39,841評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡冶忱,死狀恐怖,靈堂內的尸體忽然破棺而出境析,到底是詐尸還是另有隱情囚枪,我是刑警寧澤,帶...
    沈念sama閱讀 35,569評論 5 345
  • 正文 年R本政府宣布劳淆,位于F島的核電站链沼,受9級特大地震影響,放射性物質發(fā)生泄漏沛鸵。R本人自食惡果不足惜括勺,卻給世界環(huán)境...
    茶點故事閱讀 41,168評論 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望曲掰。 院中可真熱鬧疾捍,春花似錦、人聲如沸栏妖。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,783評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽吊趾。三九已至宛裕,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間论泛,已是汗流浹背揩尸。 一陣腳步聲響...
    開封第一講書人閱讀 32,918評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留孵奶,地道東北人疲酌。 一個月前我還...
    沈念sama閱讀 47,962評論 2 370
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親朗恳。 傳聞我的和親對象是個殘疾皇子湿颅,可洞房花燭夜當晚...
    茶點故事閱讀 44,781評論 2 354

推薦閱讀更多精彩內容