小白的記錄,寫給自己
沒有任何編程基礎炮障,C都沒學過目派。
花了兩周多,把廖大的教程草草過了胁赢,直接跳過web部分企蹭。然后開學了。
復習了一周數(shù)據(jù)結構智末。開始寫爬蟲谅摄。
第一個爬蟲其實是 天涯論壇。大概三周前多一點系馆,剛學會點正則表達式(其實是最簡單的(.*?))送漠,背著大電腦到圖書館,然后對著崔慶才大神的教程鼓搗半天由蘑,最后終于弄出來了闽寡,感覺整個世界都亮了代兵。
然后去爬糗事百科,接著是百度貼吧旅行貼的圖片爷狈,隨便輸入帖子號便可打印評論和下載圖片(順便還發(fā)現(xiàn)了兩有趣的貼)
最開始是urllib2植影、re,慢慢開始學 requests淆院、BeautifulSoup何乎、xpath。
期間還把《圖解http》看了土辩。
然后在 CSDN上寫博客支救,記錄小項目。小項目前順手加個"python 網(wǎng)絡爬蟲入門(一\二\三)"拷淘,騙騙一樣剛學的盆友也好增加瀏覽量各墨,好吧承認我是個小心機~ _
開始用上面的富文本編輯器,不知道為啥頁面一團糟启涯。后面注冊了簡書帳號贬堵,發(fā)現(xiàn)markdown編輯器不要太好用,簡書界面也友好结洼,愛上了黎做。后面發(fā)現(xiàn)CSDN也有markdown編輯器,于是每次先在簡書上排版松忍,發(fā)布蒸殿,最后復制粘貼到CSND,
嘻嘻我簡直機智~
研究了三天多pixabay鸣峭,最后做了個"圖片下載神器"宏所,速度飛快。后面發(fā)現(xiàn)特么的獲取的不是原圖啊摊溶,趕緊地將大標題改成“一個簡陋的下載器”爬骤,尷尬。
獲取不到高清原圖當然不服氣莫换,尤其是pixabay這種高人氣網(wǎng)站霞玄。
然后試著破解pexels,成了拉岁。
(為了爬外網(wǎng)還專門買了一個月vpn)
原來圖片API在源碼里溃列,新鮮不已。雖然單線程有些慢膛薛,終于是實際意義上的下載器。開始羞恥噠在Github上放自己的代碼(說bug也行吧[小白式捂臉])补鼻。
Pycharm這個編輯器確實很好用哄啄,就是界面太雅任。。咨跌。于是動手修改Pycharm設置 沪么,改了一下午加一晚上,變成這樣锌半,個人覺得清新又護眼~
前陣子川大掀起“玻璃杯事件”禽车,盛況空前。做了個爬蟲爬info神回復前100條刊殉,“史上最全殉摔,拿走不謝”,拋到空間和朋友圈记焊,小伙伴們都驚呆了逸月,順便騙了不少瀏覽量。通過這個爬蟲學會了抓包遍膜,原來破解動態(tài)網(wǎng)頁不止selenium和PhantomJS碗硬。
也遇到很多問題,基本上是自己想+查筆記+百度+知乎+csdn+stackoverflow解決的瓢颅。
用selenium爬教務網(wǎng)失敗恩尾。改用抓包,加上stackoverflow上偷來的奇淫巧計挽懦,順利爬取 教務處成績并保存至excel翰意,僅用代碼30余行。竟然開始有人瀏覽我寫的東西巾兆,還收到幾個贊猎物,開心_
看到好多大神爬電商、招聘網(wǎng)站角塑,分析數(shù)據(jù)起來有模有樣蔫磨,心動了。于是去爬 拉勾網(wǎng)圃伶,用BDP搞了個 小型數(shù)據(jù)分析堤如。花了一晚上分析網(wǎng)站窒朋,主要用到抓包和Cookies搀罢,沒學到scrapy所以有一點慢。3萬多數(shù)據(jù)侥猩,沒見過世面的小白還有些小激動~
做了一些圖表效果還行(BDP大法吼袄浦痢)。
不得不說用簡書記錄項目欺劳,還是很費時間的唧取,不過感覺也受了不少鍛煉铅鲤,尤其在總結思路、邏輯編排這幾個方面枫弟。通過記錄項目中的問題和解決思路邢享,加深鞏固了知識點。
</br>
最后總結一下:
這一個月淡诗,感覺也是斷斷續(xù)續(xù)骇塘,
畢竟本專業(yè)還要上課,主要通過
看教程韩容、做筆記款违、寫博文構建知識體系,通過小項目驅動學習
首先還是有收獲
1宙攻、樂趣奠货。發(fā)現(xiàn)了自己的興趣原來在編程,爬蟲簡直打開了一個新世界座掘。
每一次爬蟲递惋,就像升級打怪,萬一通關溢陪,成就感滿滿萍虽。(反正比做實驗好玩多了)
2、從迷茫到很忙形真。發(fā)現(xiàn)編程這一行牛人好多杉编,自己要學的東西也好多呀。
3咆霜、告別依賴邓馒。貌似開始學會自己獨立思考、解決各種問題蛾坯,有自己的想法很重要光酣,再不濟“它山之石,可以攻玉”脉课。
問題也不少
1救军、感覺爬蟲 上手快精通難,深入學習的動力貌似不足倘零,基礎存在漏洞
2唱遭、專注度不夠 效率很低,要是有大神帶帶就好啦
3呈驶、寫的是技術文拷泽,卻發(fā)現(xiàn)自己貌似漸漸奔往 段子手 的路上,怎么回事?
一個月的爬蟲學習跌穗,算是入門了吧订晌。
接下來就是學習PhtomJS動態(tài)頁面、模擬登錄破解驗證碼蚌吸、多線程、Scrapy及mongodb數(shù)據(jù)庫等等砌庄,太多太多得慢慢來羹唠。
不管怎么樣,做自己喜歡的事情娄昆,真好佩微。
4月11日添:
于4月10日,新開通知乎專欄:https://zhuanlan.zhihu.com/Waking-up
這是后話了萌焰。