真實(shí)經(jīng)歷丨從零開始做爬蟲,需要多久刀疙?

1

真實(shí)經(jīng)歷舶赔,從一點(diǎn)兒不懂到懂了一點(diǎn)兒,需要兩周谦秧。
兩周前竟纳,我參加了一個(gè)線上編程比賽。兩周時(shí)間疚鲤,要求一個(gè)沒(méi)有編程基礎(chǔ)的人锥累,從零開始獨(dú)立完成一個(gè)project。正好手頭畢業(yè)論文要求使用爬蟲采集數(shù)據(jù)石咬,就順勢(shì)參加了這次比賽揩悄。
從沒(méi)頭沒(méi)腦的開始,到最后莫名其妙的完成鬼悠,過(guò)程還是很艱難的删性。剛開始的時(shí)候非常痛苦,每天要盯著看不懂的代碼四五個(gè)小時(shí)焕窝,甚至慘到連編輯器pycharm都不會(huì)用...兩天三天過(guò)去了還是沒(méi)有進(jìn)展蹬挺,連頭緒都沒(méi)有。開始瘋狂的在網(wǎng)上找教程它掂,找案例巴帮。好在溯泣,我是有任務(wù)在身,畢業(yè)論文的數(shù)據(jù)采集任務(wù)在那逼著...要不然真不知道還能不能堅(jiān)持的下去榕茧。
到最后爬完了天貓3000個(gè)數(shù)據(jù)垃沦,完成后又把小伙伴們的數(shù)據(jù)都爬下來(lái)了,這種酸爽簡(jiǎn)直了用押。
最后的結(jié)果是這樣?jì)饍旱模?/p>


爬出來(lái)的內(nèi)容是這樣?jì)饍旱模?/p>

看到最后的結(jié)果肢簿,真想說(shuō)一句:太他媽不容易了!
文章已結(jié)束,下面由當(dāng)事人發(fā)表一下感言蜻拨。

2

任何事池充,從不會(huì)到會(huì)一點(diǎn)都只需要兩周?
還記得網(wǎng)上有篇文章講北大教授上課的缎讼,大意是物理系的教授收夸,下課的時(shí)候布置一道實(shí)驗(yàn)項(xiàng)目,牽扯到他還沒(méi)有講血崭,學(xué)生們聞所未聞的概念卧惜。有學(xué)生說(shuō)“老師這我們沒(méi)學(xué)過(guò)啊”教授回答說(shuō)“沒(méi)學(xué)過(guò)就對(duì)了,現(xiàn)在回去學(xué)啊”
之后的一周里夹纫,學(xué)生們天天泡在圖書館序苏,查閱資料,苦心鉆研捷凄。第一天什么都沒(méi)看懂,第二天第三天還是一頭霧水围来。眼看要交作業(yè)了跺涤,想要放棄也沒(méi)有退路。終于第四天明白了一丟丟监透,第五天兩丟丟桶错,天天都在切磋新概念新名詞,琢磨新概念新名詞之間必要清晰的關(guān)系胀蛮。
如果你覺(jué)得最后會(huì)“終于完美的完成了”就too young too native了院刁,最后還有很多學(xué)生沒(méi)有完成作業(yè)。
我這兩周就像是這樣?jì)饍旱姆嗬恰V徊贿^(guò)我天天搗鼓的都是這種玩意:


相信我退腥,兩周前我和你現(xiàn)在的感覺(jué)是一樣的:這都是些個(gè)什么玩意?但還得相信再榄,這就是我用兩周時(shí)間一個(gè)一個(gè)字母敲出來(lái)的狡刘。而這幾行代碼,可以爬取天貓上任何品類商品的基本屬性困鸥,可以爬取任意多條嗅蔬。
當(dāng)然,最后還沒(méi)有做到盡善盡美。有一些權(quán)限還沒(méi)有獲取澜术,或者被反爬蟲隔離了艺蝴,不過(guò)我已經(jīng)很滿意了。
你可能會(huì)說(shuō)鸟废,我本來(lái)就會(huì)一些計(jì)算機(jī)知識(shí)啊猜敢。不是的,我現(xiàn)在學(xué)的是前端開發(fā)侮攀,和這種后臺(tái)語(yǔ)言的關(guān)系就像雷鋒和雷峰塔锣枝,我看到這種代碼一樣是懵逼的狀態(tài)。

3

有這么三點(diǎn)我想重點(diǎn)分享一下:
1)在開始之前兰英,我就“看到了”我一定做的到撇叁。
我們?cè)O(shè)立一個(gè)目標(biāo)的時(shí)候,心里會(huì)出現(xiàn)一個(gè)自然預(yù)期畦贸。這個(gè)預(yù)期是這么寫的“我是不是一定會(huì)完成陨闹,我有沒(méi)有可能會(huì)中途放棄”如果預(yù)期中根本就不存在有退路,或者PlanB的念頭薄坏,這事基本能成趋厉。反之則不然。
假如有了一個(gè)小小的“退路”的念頭胶坠,必然會(huì)在你開始的過(guò)程中,在遭遇艱難沈善,痛苦的時(shí)候被逐漸放大闻牡。直到這個(gè)念頭“被困難喂養(yǎng)”的比出門右轉(zhuǎn)的“天使”還要強(qiáng)大净赴。這時(shí)候事情還會(huì)不會(huì)有結(jié)果就很難說(shuō)了。
有很多事都是這樣子被不了了之罩润,至少我是這樣?jì)饍旱摹?br> 但是這次為啥沒(méi)有呢玖翅?
不是我牛逼,自己就能控制不出現(xiàn)放棄的念頭割以,是客觀原因的存在金度。我們一小組三個(gè)人負(fù)責(zé)整個(gè)小組的論文數(shù)據(jù)采集任務(wù),其中一個(gè)妹子在上海實(shí)習(xí)严沥,另一個(gè)像個(gè)兩百斤的孩子的是我室友审姓,知根知底,知道沒(méi)譜兒祝峻,就只有靠自己了魔吐。而論文這種事,you know,it is have no Plan B.
就這樣我不得不在開始的時(shí)候酬姆,就沒(méi)機(jī)會(huì)想“要推脫辞色,要有退路骨宠,要放棄”。沒(méi)了那一丟丟的念頭层亿,往后遇神被神殺,遇佛被佛擋的時(shí)候立美,就只有扛著過(guò)匿又,滿血活了。
哪有人天生牛逼建蹄,只有天生被逼碌更。我估計(jì)這件事不論放在誰(shuí)頭上都是可以做到的。

2)笨蛋不可怕洞慎,就怕笨蛋堅(jiān)持下劲腿。
我一直有一個(gè)偶像叫曾國(guó)藩快压。這個(gè)人是出了名的愚笨个从,后來(lái)竟然被譽(yù)為是中國(guó)歷史上的第兩個(gè)半完人沪曙。他獨(dú)創(chuàng)的“結(jié)硬寨贾陷,打呆仗”把當(dāng)時(shí)實(shí)力幾倍于湘軍的太平天國(guó)掀翻,靠的就是那股扎扎實(shí)實(shí)的笨勁。同樣的人還有阿甘和郭靖冈爹。
我非常相信龜兔賽跑的故事欧引,相信傻人有傻勁频伤,傻勁有奇效。
說(shuō)起來(lái)簡(jiǎn)單维咸,過(guò)程又何其容易呢剂买。幾乎這兩周每晚都在公司加班到九點(diǎn)多,白天偷偷摸摸的看代碼癌蓖,理思路瞬哼。剛開始是一個(gè)一個(gè)單詞去通,每個(gè)語(yǔ)法租副,函數(shù)坐慰,流程語(yǔ)句,變量用僧,三方庫(kù)都是一個(gè)個(gè)大坑结胀。每個(gè)坑都會(huì)掉里面幾個(gè)甚至十幾個(gè)小時(shí)爬不出來(lái),何其焦慮责循,何其悲哀糟港。
看著網(wǎng)上有人講出代碼原理,自己敲出來(lái)的和人家的看起來(lái)一模一樣院仿,但是會(huì)報(bào)錯(cuò)秸抚,不能運(yùn)行。意味著抄都抄錯(cuò)歹垫,何其痛苦剥汤,何其無(wú)助。
引用《中庸》中的一段話:
“人一能之排惨,己百之吭敢,人十能之,己千之暮芭。若能得此道者鹿驼,雖柔必剛欲低,雖弱必強(qiáng)”

只要不被“我學(xué)不會(huì)啊”嚇倒,我相信憑借人腦牛逼的思考理解力蠢沿,搞定電腦們遵守的這些規(guī)則還是綽綽有余的伸头。我以前常說(shuō)一句話:遇見困難,解決困難舷蟀,直到最后恤磷,愛上困難。

3)成年人應(yīng)有的學(xué)習(xí)方法
價(jià)值觀灌輸完畢總要有方法論的野宜,就以我寫爬蟲程序?yàn)槔?br> 我開始的時(shí)候不是先從python(我的蟲子用的一門計(jì)算機(jī)語(yǔ)言扫步,據(jù)說(shuō)是世界上第二好用的計(jì)算機(jī)語(yǔ)言)的“入門”“新手必讀”或者從最最基本的概念“變量”“邏輯判斷”“字符串”“函數(shù)”等開始著手的。這是小朋友們上小學(xué)和中學(xué)的學(xué)習(xí)方法匈子,我一直也不太認(rèn)同河胎。

若是成年人還是這樣一步步按部就班的學(xué)習(xí),我約莫人的耐心早晚會(huì)被磨沒(méi)虎敦,而且會(huì)邊學(xué)邊忘游岳,還不成系統(tǒng)。

我是這樣開始的:擼起袖子****直接做其徙。百度一下前輩們留下的python爬蟲代碼胚迫,照著一步步看,然后理解唾那。開始自然會(huì)一丁點(diǎn)都不懂访锻,這沒(méi)關(guān)系,遇到不懂的再去查闹获,查完回來(lái)接著看期犬,一直到把原理都弄明白,順帶也就把涉及到的概念掌握了幾分避诽。這大概需要花一周多的時(shí)間龟虎。

這一周也是最痛苦的時(shí)候,一定會(huì)有無(wú)數(shù)次的草泥馬飛奔過(guò)你的心田沙庐,有無(wú)數(shù)次的放棄念頭茁壯成長(zhǎng)鲤妥。這個(gè)時(shí)候可以默念:請(qǐng)看前兩條...

這么說(shuō)有時(shí)候價(jià)值觀還是挺有用的,雞湯也是會(huì)補(bǔ)身體的轨功。就看能不能自帶湯勺了。

對(duì)普通人來(lái)講容达,過(guò)這一遍大致就掌握個(gè)三四分古涧,然后在重復(fù)兩遍。這時(shí)候有個(gè)師傅時(shí)最好不過(guò)的花盐,能少走不少?gòu)澛废刍S袝r(shí)候僅僅因?yàn)橐粋€(gè)中文的標(biāo)點(diǎn)你的程序就崩盤菇爪,一上午都找不到原因也是可能的。這時(shí)候需要一個(gè)第三方反饋機(jī)制柒昏,譬如師傅凳宙,教練,伙伴等职祷。所以說(shuō)老司機(jī)帶路是有道理的氏涩。

沒(méi)有老司機(jī)也不要緊,只不過(guò)多踩點(diǎn)坑有梆,多花點(diǎn)時(shí)間罷了是尖。這些坑才是最能鍛煉你學(xué)習(xí)能力和解決問(wèn)題能力的好東西。

經(jīng)過(guò)三五次復(fù)盤泥耀,基本上前輩們的代碼已經(jīng)很熟悉(不要以為第一眼看上去不懂的東西就以為永遠(yuǎn)弄不懂)饺汹,了解了五六分之后就可以直接開始了。如果發(fā)現(xiàn)有一寫就懵逼的情況就太好了痰催,你又發(fā)現(xiàn)了一點(diǎn)你的不足兜辞,又可以稍稍進(jìn)步一點(diǎn)了。要善用搜索引擎解決問(wèn)題夸溶,特別要會(huì)用Google逸吵。如果不會(huì)就去百度一下“怎么使用Google”
要相信,你現(xiàn)在遇到的任何問(wèn)題蜘醋,網(wǎng)上都有前輩問(wèn)過(guò)類似的問(wèn)題胁塞,大部分在搜索引擎上都有相關(guān)解答,如果沒(méi)有压语,說(shuō)明的你問(wèn)題根本不是問(wèn)題啸罢,細(xì)心一些就會(huì)解決了。不怕麻煩胎食,一來(lái)二去扰才,三番四次就算再不女的問(wèn)題也一定會(huì)被解決。而你的成功就會(huì)踩著這些問(wèn)題駕著七彩云彩來(lái)迎接你了厕怜。

最后衩匣。最后說(shuō)不定真的就在兩周內(nèi)做成了一件事。而且是從頭到尾粥航,從零開始體驗(yàn)到一件事物從小到大琅捏,從無(wú)到有的過(guò)程。在某種程度上递雀,這種體驗(yàn)帶來(lái)的自信感和成就感柄延,比做成事情本身更有價(jià)值。這大概就是為什么那么多有錢人還在那么拼命工作的原因缀程。

總結(jié):有耐心搜吧,好心態(tài)市俊,方法自洽而不必完美。在我看來(lái)幾乎是一套普世的方法論滤奈,可以幫人提升學(xué)習(xí)力摆昧,獲得成就感。

ps:我的心法全在這里了蜒程,拿不拿的走看你自己绅你。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市搞糕,隨后出現(xiàn)的幾起案子勇吊,更是在濱河造成了極大的恐慌,老刑警劉巖窍仰,帶你破解...
    沈念sama閱讀 218,036評(píng)論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件汉规,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡驹吮,警方通過(guò)查閱死者的電腦和手機(jī)针史,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,046評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)碟狞,“玉大人啄枕,你說(shuō)我怎么就攤上這事∽逦郑” “怎么了频祝?”我有些...
    開封第一講書人閱讀 164,411評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)脆淹。 經(jīng)常有香客問(wèn)我常空,道長(zhǎng),這世上最難降的妖魔是什么盖溺? 我笑而不...
    開封第一講書人閱讀 58,622評(píng)論 1 293
  • 正文 為了忘掉前任漓糙,我火速辦了婚禮,結(jié)果婚禮上烘嘱,老公的妹妹穿的比我還像新娘昆禽。我一直安慰自己,他們只是感情好蝇庭,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,661評(píng)論 6 392
  • 文/花漫 我一把揭開白布醉鳖。 她就那樣靜靜地躺著,像睡著了一般哮内。 火紅的嫁衣襯著肌膚如雪盗棵。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,521評(píng)論 1 304
  • 那天,我揣著相機(jī)與錄音漾根,去河邊找鬼。 笑死鲫竞,一個(gè)胖子當(dāng)著我的面吹牛辐怕,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播从绘,決...
    沈念sama閱讀 40,288評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼寄疏,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了僵井?” 一聲冷哼從身側(cè)響起陕截,我...
    開封第一講書人閱讀 39,200評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎批什,沒(méi)想到半個(gè)月后农曲,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,644評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡驻债,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,837評(píng)論 3 336
  • 正文 我和宋清朗相戀三年乳规,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片合呐。...
    茶點(diǎn)故事閱讀 39,953評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡暮的,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出淌实,到底是詐尸還是另有隱情冻辩,我是刑警寧澤,帶...
    沈念sama閱讀 35,673評(píng)論 5 346
  • 正文 年R本政府宣布拆祈,位于F島的核電站恨闪,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏缘屹。R本人自食惡果不足惜凛剥,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,281評(píng)論 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望轻姿。 院中可真熱鬧犁珠,春花似錦、人聲如沸互亮。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,889評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)豹休。三九已至炊昆,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背凤巨。 一陣腳步聲響...
    開封第一講書人閱讀 33,011評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工视乐, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人敢茁。 一個(gè)月前我還...
    沈念sama閱讀 48,119評(píng)論 3 370
  • 正文 我出身青樓佑淀,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親彰檬。 傳聞我的和親對(duì)象是個(gè)殘疾皇子伸刃,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,901評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容