我是大學(xué)一年級(jí)的時(shí)候開始接觸爬蟲，其實(shí)是開始接觸代碼惩歉，聽說過這個(gè)東西俏蛮，也去網(wǎng)上扒拉過一些這類的代碼撑蚌。
如今匆匆?guī)啄赀^去了，中間也比較懶惰搏屑，也沒大看過這争涌，當(dāng)然里面也沒多少值得推敲的東西。無非是抓點(diǎn)別人的數(shù)據(jù)辣恋，在抓的時(shí)候要克服比較多的“難關(guān)”，把搞到的數(shù)據(jù)洗涮洗涮伟骨，做點(diǎn)別的事。
還是本著和尚念經(jīng)的理念继蜡，慢條斯理的說，先從最簡單的網(wǎng)站說起稀并，然后過渡到一些有反爬策略的单默，登錄驗(yàn)證的碘举，基于框架的雕凹，稍微有點(diǎn)尺寸的爬蟲這些。
當(dāng)然线欲，還要說下環(huán)境，用啥爬李丰，啥都行吧逼泣，我之前用OC寫過爬蟲舟舒，也用python寫過，無非是后者省點(diǎn)勁秃励，所以被大眾熟知吉捶，其實(shí)呢是個(gè)語言就可以寫。然后有些新人還會(huì)糾結(jié)版本問題呐舔，因?yàn)閜ython有很多版本，其實(shí)都一樣食呻，你把2.7的程序澎现，用3.x的跑仅胞，把里面報(bào)錯(cuò)的信息改掉就好了昔头。因?yàn)槲掖笠坏臅r(shí)候就聽人忽悠說2.7如何經(jīng)典，當(dāng)然這也確實(shí)莱革，不過畢竟感覺不新鮮，所以這些爬蟲是用3.6寫的盅视。
若是還有什么要說的旦万，還有個(gè)IDE的事，在此之前我一直是用Pycharm成艘，它確實(shí)好，實(shí)際開發(fā)中也比較省事淆两，但是為了演示方便，快捷的原因仲义，當(dāng)然也是為了適應(yīng)這么個(gè)東西，因?yàn)榕老x不是目的埃撵，目的是爬來東西的處理，用Jupyter(IPython)的時(shí)候展現(xiàn)這些比較好使暂刘。
再想想，就沒什么好說的啦商蕴，這就算交代完“后事”了芝发。
前序
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
- 文/潘曉璐 我一進(jìn)店門访敌，熙熙樓的掌柜王于貴愁眉苦臉地迎上來衣盾，“玉大人，你說我怎么就攤上這事阻塑。” “怎么了叮姑？”我有些...
- 文/不壞的土叔 我叫張陵，是天一觀的道長耘沼。 經(jīng)常有香客問我朱盐，道長群嗤，這世上最難降的妖魔是什么兵琳？ 我笑而不...
- 正文 為了忘掉前任躯肌，我火速辦了婚禮者春，結(jié)果婚禮上清女，老公的妹妹穿的比我還像新娘。我一直安慰自己拴袭，他們只是感情好曙博，可當(dāng)我...
- 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著父泳，像睡著了一般。 火紅的嫁衣襯著肌膚如雪逝她。 梳的紋絲不亂的頭發(fā)上，一...
- 文/蒼蘭香墨 我猛地睜開眼瓣距，長吁一口氣：“原來是場噩夢(mèng)啊……” “哼代咸！你這毒婦竟也來了蹈丸？” 一聲冷哼從身側(cè)響起呐芥，我...
- 序言：老撾萬榮一對(duì)情侶失蹤思瘟，失蹤者是張志新（化名）和其女友劉穎荸百，沒想到半個(gè)月后潮太，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
- 正文 獨(dú)居荒郊野嶺守林人離奇死亡，尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
- 正文 我和宋清朗相戀三年奇钞，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了漂坏。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
- 正文 年R本政府宣布拴孤，位于F島的核電站，受9級(jí)特大地震影響演熟，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜兄纺，卻給世界環(huán)境...
- 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望囤热。 院中可真熱鬧，春花似錦旁蔼、人聲如沸。這莊子的主人今日做“春日...
- 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至祟同，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間晕城，已是汗流浹背。 一陣腳步聲響...
- 正文 我出身青樓锣险，卻偏偏與公主長得像，于是被迫代替她去往敵國和親囱持。 傳聞我的和親對(duì)象是個(gè)殘疾皇子焕济，可洞房花燭夜當(dāng)晚...
推薦閱讀更多精彩內(nèi)容
- 入職新公司后，Manager并沒有說要用Python進(jìn)行開發(fā)掩幢。只有Java經(jīng)驗(yàn)的我還是有一些壓力的逊拍。入職已經(jīng)第四周...
- 其實(shí)二叉樹的3種遍歷策略缨恒，無非是處理節(jié)點(diǎn)的時(shí)機(jī)不同：前序遍歷是在遇到節(jié)點(diǎn)時(shí)即處理，中序是在處理完左節(jié)點(diǎn)后再處理骗露，而...
- 不知道該如何開頭血巍，也不知道該說點(diǎn)什么。只是一直想寫點(diǎn)東西述寡，矯情的回憶一下曾經(jīng)那個(gè)不堪的自己，也算是對(duì)過往一種徹底的...
- 前幾天禀崖，同事張師傅的車出了個(gè)事故螟炫，為了躲個(gè)大車帆焕，車頭撞在山體上了不恭。 事故造成了張師傅的老婆肋骨骨折财饥，并造成車的發(fā)動(dòng)...
- 1、 說起麻煩钥星，誰愿意惹？ 童年時(shí)谦炒，總會(huì)隔三差五出點(diǎn)麻煩事，那些當(dāng)時(shí)覺得“天要塌了”的麻煩宁改，無非就是把茶杯打碎了，...
