自學爬蟲一月總結

小白的記錄,寫給自己

沒有任何編程基礎炮障,C都沒學過目派。
花了兩周多,把廖大的教程草草過了胁赢,直接跳過web部分企蹭。然后開學了。
復習了一周數(shù)據(jù)結構智末。開始寫爬蟲谅摄。

第一個爬蟲其實是 天涯論壇。大概三周前多一點系馆,剛學會點正則表達式(其實是最簡單的(.*?))送漠,背著大電腦到圖書館,然后對著崔慶才大神的教程鼓搗半天由蘑,最后終于弄出來了闽寡,感覺整個世界都亮了代兵。

第一個爬蟲

然后去爬糗事百科,接著是百度貼吧旅行貼的圖片爷狈,隨便輸入帖子號便可打印評論和下載圖片(順便還發(fā)現(xiàn)了兩有趣的貼)

最開始是urllib2植影、re,慢慢開始學 requests淆院、BeautifulSoup何乎、xpath。
期間還把《圖解http》看了土辩。

然后在 CSDN上寫博客支救,記錄小項目。小項目前順手加個"python 網(wǎng)絡爬蟲入門(一\二\三)"拷淘,騙騙一樣剛學的盆友也好增加瀏覽量各墨,好吧承認我是個小心機~ _

開始用上面的富文本編輯器,不知道為啥頁面一團糟启涯。后面注冊了簡書帳號贬堵,發(fā)現(xiàn)markdown編輯器不要太好用,簡書界面也友好结洼,愛上了黎做。后面發(fā)現(xiàn)CSDN也有markdown編輯器,于是每次先在簡書上排版松忍,發(fā)布蒸殿,最后復制粘貼到CSND,
嘻嘻我簡直機智~

研究了三天多pixabay鸣峭,最后做了個"圖片下載神器"宏所,速度飛快。后面發(fā)現(xiàn)特么的獲取的不是原圖啊摊溶,趕緊地將大標題改成“一個簡陋的下載器”爬骤,尷尬。

獲取不到高清原圖當然不服氣莫换,尤其是pixabay這種高人氣網(wǎng)站霞玄。
然后試著破解pexels,成了拉岁。
(為了爬外網(wǎng)還專門買了一個月vpn)
原來圖片API在源碼里溃列,新鮮不已。雖然單線程有些慢膛薛,終于是實際意義上的下載器。開始羞恥噠在Github上放自己的代碼(說bug也行吧[小白式捂臉])补鼻。

Pycharm這個編輯器確實很好用哄啄,就是界面太雅任。。咨跌。于是動手修改Pycharm設置 沪么,改了一下午加一晚上,變成這樣锌半,個人覺得清新又護眼~

我的Pycharm界面.png

前陣子川大掀起“玻璃杯事件”禽车,盛況空前。做了個爬蟲爬info神回復前100條刊殉,“史上最全殉摔,拿走不謝”,拋到空間和朋友圈记焊,小伙伴們都驚呆了逸月,順便騙了不少瀏覽量。通過這個爬蟲學會了抓包遍膜,原來破解動態(tài)網(wǎng)頁不止selenium和PhantomJS碗硬。

也遇到很多問題,基本上是自己想+查筆記+百度+知乎+csdn+stackoverflow解決的瓢颅。

用selenium爬教務網(wǎng)失敗恩尾。改用抓包,加上stackoverflow上偷來的奇淫巧計挽懦,順利爬取 教務處成績并保存至excel翰意,僅用代碼30余行。竟然開始有人瀏覽我寫的東西巾兆,還收到幾個贊猎物,開心_

看到好多大神爬電商、招聘網(wǎng)站角塑,分析數(shù)據(jù)起來有模有樣蔫磨,心動了。于是去爬 拉勾網(wǎng)圃伶,用BDP搞了個 小型數(shù)據(jù)分析堤如。花了一晚上分析網(wǎng)站窒朋,主要用到抓包和Cookies搀罢,沒學到scrapy所以有一點慢。3萬多數(shù)據(jù)侥猩,沒見過世面的小白還有些小激動~
做了一些圖表效果還行(BDP大法吼袄浦痢)。

不得不說用簡書記錄項目欺劳,還是很費時間的唧取,不過感覺也受了不少鍛煉铅鲤,尤其在總結思路、邏輯編排這幾個方面枫弟。通過記錄項目中的問題和解決思路邢享,加深鞏固了知識點。
</br>

最后總結一下:

這一個月淡诗,感覺也是斷斷續(xù)續(xù)骇塘,
畢竟本專業(yè)還要上課,主要通過
看教程韩容、做筆記款违、寫博文構建知識體系,通過小項目驅動學習

首先還是有收獲
1宙攻、樂趣奠货。發(fā)現(xiàn)了自己的興趣原來在編程,爬蟲簡直打開了一個新世界座掘。
每一次爬蟲递惋,就像升級打怪,萬一通關溢陪,成就感滿滿萍虽。(反正比做實驗好玩多了)
2、從迷茫到很忙形真。發(fā)現(xiàn)編程這一行牛人好多杉编,自己要學的東西也好多呀。
3咆霜、告別依賴邓馒。貌似開始學會自己獨立思考、解決各種問題蛾坯,有自己的想法很重要光酣,再不濟“它山之石,可以攻玉”脉课。

問題也不少
1救军、感覺爬蟲 上手快精通難,深入學習的動力貌似不足倘零,基礎存在漏洞
2唱遭、專注度不夠 效率很低,要是有大神帶帶就好啦
3呈驶、寫的是技術文拷泽,卻發(fā)現(xiàn)自己貌似漸漸奔往 段子手 的路上,怎么回事?

我可能爬的假的爬蟲

一個月的爬蟲學習跌穗,算是入門了吧订晌。
接下來就是學習PhtomJS動態(tài)頁面、模擬登錄破解驗證碼蚌吸、多線程、Scrapy及mongodb數(shù)據(jù)庫等等砌庄,太多太多得慢慢來羹唠。

不管怎么樣,做自己喜歡的事情娄昆,真好佩微。

4月11日添:
于4月10日,新開通知乎專欄:https://zhuanlan.zhihu.com/Waking-up
這是后話了萌焰。

最后編輯于
?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末哺眯,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子扒俯,更是在濱河造成了極大的恐慌奶卓,老刑警劉巖,帶你破解...
    沈念sama閱讀 212,454評論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件撼玄,死亡現(xiàn)場離奇詭異夺姑,居然都是意外死亡,警方通過查閱死者的電腦和手機掌猛,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,553評論 3 385
  • 文/潘曉璐 我一進店門盏浙,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人荔茬,你說我怎么就攤上這事废膘。” “怎么了慕蔚?”我有些...
    開封第一講書人閱讀 157,921評論 0 348
  • 文/不壞的土叔 我叫張陵丐黄,是天一觀的道長。 經(jīng)常有香客問我坊萝,道長孵稽,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,648評論 1 284
  • 正文 為了忘掉前任十偶,我火速辦了婚禮菩鲜,結果婚禮上,老公的妹妹穿的比我還像新娘惦积。我一直安慰自己接校,他們只是感情好,可當我...
    茶點故事閱讀 65,770評論 6 386
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著蛛勉,像睡著了一般鹿寻。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上诽凌,一...
    開封第一講書人閱讀 49,950評論 1 291
  • 那天毡熏,我揣著相機與錄音,去河邊找鬼侣诵。 笑死痢法,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的杜顺。 我是一名探鬼主播财搁,決...
    沈念sama閱讀 39,090評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼躬络!你這毒婦竟也來了尖奔?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 37,817評論 0 268
  • 序言:老撾萬榮一對情侶失蹤穷当,失蹤者是張志新(化名)和其女友劉穎提茁,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體膘滨,經(jīng)...
    沈念sama閱讀 44,275評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡甘凭,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,592評論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了火邓。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片丹弱。...
    茶點故事閱讀 38,724評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖铲咨,靈堂內(nèi)的尸體忽然破棺而出躲胳,到底是詐尸還是另有隱情,我是刑警寧澤纤勒,帶...
    沈念sama閱讀 34,409評論 4 333
  • 正文 年R本政府宣布坯苹,位于F島的核電站,受9級特大地震影響摇天,放射性物質發(fā)生泄漏粹湃。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 40,052評論 3 316
  • 文/蒙蒙 一泉坐、第九天 我趴在偏房一處隱蔽的房頂上張望为鳄。 院中可真熱鬧,春花似錦腕让、人聲如沸孤钦。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,815評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽偏形。三九已至静袖,卻和暖如春蟋字,著一層夾襖步出監(jiān)牢的瞬間牍蜂,已是汗流浹背匕垫。 一陣腳步聲響...
    開封第一講書人閱讀 32,043評論 1 266
  • 我被黑心中介騙來泰國打工隘谣, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人口猜。 一個月前我還...
    沈念sama閱讀 46,503評論 2 361
  • 正文 我出身青樓矾踱,卻偏偏與公主長得像反粥,于是被迫代替她去往敵國和親咒钟。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 43,627評論 2 350

推薦閱讀更多精彩內(nèi)容

  • Android 自定義View的各種姿勢1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 171,842評論 25 707
  • 總結 | 反思 | 分享 學習Python爬蟲2個月了若未,一路驚喜一路bug朱嘴,苦辣酸甜不言中。今天正好周末粗合,做一下階...
    Wakingup88688閱讀 2,872評論 11 73
  • 1 前言 作為一名合格的數(shù)據(jù)分析師萍嬉,其完整的技術知識體系必須貫穿數(shù)據(jù)獲取、數(shù)據(jù)存儲隙疚、數(shù)據(jù)提取壤追、數(shù)據(jù)分析、數(shù)據(jù)挖掘供屉、...
    whenif閱讀 18,064評論 45 523
  • 小時候的我們行冰,七七八八、成群結隊伶丐,跳皮筋悼做、打紙板、扔石子哗魂、過家家肛走,不亦樂乎!中學時代的我們录别,五五六六朽色、抱團前進,...
    要勇敢的鳳鳳閱讀 359評論 0 0
  • 每一年组题,都無一例外的 葫男。 新學期伊始,幼兒園的大門和圍欄四周往踢,遠遠地就能望見擠滿了的人群腾誉,他們不停向園內(nèi)張望著,一...
    一縷清風襲來閱讀 478評論 7 5