Python爬蟲-Android手寫爬蟲

我以我自己的想法來分析用Python爬網(wǎng)頁的步驟以及注意點~

首先我個人認(rèn)為一個小爬蟲的步驟很簡單奴迅,無非就是“找網(wǎng)站-分析網(wǎng)頁源碼-請求-分析-匹配-輸出”,就這樣,這是我個人理解

那么手機(jī)爬蟲也就是和PC端一毛一樣,除了工具以外

那么開始吧~

我這里推薦三個手機(jī)app:packet capture(抓包工具,網(wǎng)上有漢化版)节吮、termux(手機(jī)終端)、pydroid(網(wǎng)絡(luò)上比較少判耕,但是可以到Google play下載透绩,只支持Python2,我這里有自己漢化了的壁熄,有需求的可以找我)

這篇文章只用兩個軟件:termux和chrome瀏覽器即可

我們要爬取的網(wǎng)站是著名的老司機(jī)網(wǎng)站:i.jandan.net帚豪,我們只抓取100頁的圖片(60-160)

網(wǎng)址在這:http://i.jandan.net/ooxx/page-60,沒瞎的人都知道page-60是指的頁碼草丧。志鞍。。我沒鄙視那些沒看懂的人方仿;但是我們還不知道它網(wǎng)頁的構(gòu)造固棚,在瀏覽器的網(wǎng)址欄上加上“view-source”统翩,加在網(wǎng)址的最前面,也就成了這樣

圖片發(fā)自簡書App

OK此洲,現(xiàn)在該網(wǎng)頁的源碼已經(jīng)呈現(xiàn)在我們眼前了厂汗,可能看著有點費勁,但還好有高亮呜师,不算太坑爹

圖片發(fā)自簡書App

一般情況下:我們找到圖片的鏈接關(guān)鍵字娶桦,比如href、jpg汁汗、png之類的

但是這衷畦,我們只需要找“查看原圖”這四個字就可以了,找到之后知牌,我們可以看到它的一個圖片都是用一個div給包裹著祈争,每個都是

圖片發(fā)自簡書App

這個就好辦了,可以開始寫代碼來

那么開始把角寸,打開termux菩混,新建一個crawler.py文件,我這里是這個扁藕,你們隨意

圖片發(fā)自簡書App

然后導(dǎo)入我們那需要的包

import requests
import re

只需要這兩個包即可

然后分享一下我的代碼:

圖片發(fā)自簡書App

圖片發(fā)自簡書App

接下來沮峡,我們就只需要下載就可以完成了,看代碼吧:

圖片發(fā)自簡書App

下載過程:

圖片發(fā)自簡書App

完成:

圖片發(fā)自簡書App

簡單亿柑,代碼量很少邢疙,有用的代碼最多20行

感謝觀看,有錯的地方別噴望薄,指出來疟游,我學(xué)習(xí)。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末式矫,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子役耕,更是在濱河造成了極大的恐慌采转,老刑警劉巖,帶你破解...
    沈念sama閱讀 223,002評論 6 519
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件瞬痘,死亡現(xiàn)場離奇詭異故慈,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)框全,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,357評論 3 400
  • 文/潘曉璐 我一進(jìn)店門察绷,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人津辩,你說我怎么就攤上這事拆撼∪堇停” “怎么了?”我有些...
    開封第一講書人閱讀 169,787評論 0 365
  • 文/不壞的土叔 我叫張陵闸度,是天一觀的道長竭贩。 經(jīng)常有香客問我,道長莺禁,這世上最難降的妖魔是什么留量? 我笑而不...
    開封第一講書人閱讀 60,237評論 1 300
  • 正文 為了忘掉前任,我火速辦了婚禮哟冬,結(jié)果婚禮上楼熄,老公的妹妹穿的比我還像新娘。我一直安慰自己浩峡,他們只是感情好可岂,可當(dāng)我...
    茶點故事閱讀 69,237評論 6 398
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著红符,像睡著了一般青柄。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上预侯,一...
    開封第一講書人閱讀 52,821評論 1 314
  • 那天致开,我揣著相機(jī)與錄音,去河邊找鬼萎馅。 笑死双戳,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的糜芳。 我是一名探鬼主播飒货,決...
    沈念sama閱讀 41,236評論 3 424
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼峭竣!你這毒婦竟也來了塘辅?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 40,196評論 0 277
  • 序言:老撾萬榮一對情侶失蹤皆撩,失蹤者是張志新(化名)和其女友劉穎扣墩,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體扛吞,經(jīng)...
    沈念sama閱讀 46,716評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡呻惕,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,794評論 3 343
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了滥比。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片亚脆。...
    茶點故事閱讀 40,928評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖盲泛,靈堂內(nèi)的尸體忽然破棺而出濒持,到底是詐尸還是另有隱情键耕,我是刑警寧澤,帶...
    沈念sama閱讀 36,583評論 5 351
  • 正文 年R本政府宣布弥喉,位于F島的核電站郁竟,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏由境。R本人自食惡果不足惜棚亩,卻給世界環(huán)境...
    茶點故事閱讀 42,264評論 3 336
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望虏杰。 院中可真熱鬧讥蟆,春花似錦、人聲如沸纺阔。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,755評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽笛钝。三九已至质况,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間玻靡,已是汗流浹背结榄。 一陣腳步聲響...
    開封第一講書人閱讀 33,869評論 1 274
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留囤捻,地道東北人臼朗。 一個月前我還...
    沈念sama閱讀 49,378評論 3 379
  • 正文 我出身青樓,卻偏偏與公主長得像蝎土,于是被迫代替她去往敵國和親视哑。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,937評論 2 361

推薦閱讀更多精彩內(nèi)容

  • Android 自定義View的各種姿勢1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 172,348評論 25 707
  • 本內(nèi)容為《用Python寫網(wǎng)絡(luò)爬蟲》書籍內(nèi)容誊涯,有興趣的讀者可以購買本書挡毅,本章的代碼皆可在Python3中運行。為了...
    海人為記閱讀 2,250評論 0 5
  • 1 前言 作為一名合格的數(shù)據(jù)分析師暴构,其完整的技術(shù)知識體系必須貫穿數(shù)據(jù)獲取跪呈、數(shù)據(jù)存儲、數(shù)據(jù)提取丹壕、數(shù)據(jù)分析庆械、數(shù)據(jù)挖掘薇溃、...
    whenif閱讀 18,085評論 45 523
  • ??調(diào)伏身心:昨晚帶孩子去跳舞菌赖,等待的過程中,站樁半個鐘沐序,晚上10點回到家琉用,繼續(xù)熱水泡腳堕绩、身體熱敷。早晨醒來繼續(xù)站...
    陳俊寧閱讀 315評論 0 1
  • 最近被看了一部電視劇《大唐榮耀》黍氮。之所以說“被”,是因為遙控器掌握在老婆手里浅浮。先不說景田那叫一個漂亮沫浆,今天我拿廣平...
    一路凱哥閱讀 540評論 2 4