簡單爬蟲2 2020-04-20

網(wǎng)絡(luò)圖片的爬取和存儲




如果一個鏈接是以 .jpg 結(jié)尾的铺韧,那么它是一個圖片钓丰,而且它是一個文件


保存圖片時疹蛉,我們需要知道圖片所保存的位置磺平,先設(shè)置一個路徑 path?

假設(shè)圖片保存為abc.jpg這個名字靴姿,但這個名字后期我們會做相關(guān)的處理

下面給出我們查到的網(wǎng)絡(luò)圖片的地址

再用get請求捕獲這個 url

返回狀態(tài)碼 200 沃但,說明這個時候 r 已經(jīng)包含了返回的這個圖片

下面就是保存這個圖片,圖片是二進制的格式佛吓,我們通過 with open(path, 'wb') as f:

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? f.write(r.content)

把二進制的格式保存為文件

這段代碼的含義就是宵晚,我們打開了一個文件恨旱,這個文件就是我們要存儲的abc.jpg?

并且把它定義為一個文件標識符 f?

然后我們將返回的內(nèi)容寫到這個文件中

respons對象返回的內(nèi)容中r.content表示的是返回內(nèi)容的二進制形式

所以我們可以用 f.write(r.content) 將返回二進制形式寫到文件中

最后我們將文件關(guān)閉

然后去d盤看abc.jpg這個文件是不是網(wǎng)上這個圖片


那么能不能用圖片原來的名字獲取圖片呢

只需要將url中圖片原本的名字最后的圖片文件的名字截取下來,作為我們本地目錄的名字就可以了

這里面我們除了import requests庫之外坝疼,搜贤,還需要import os 庫

這里面我們給出 url 鏈接,再定義一個根目錄 root钝凶, 我們把根目錄定義為D盤的pics目錄

然后我們把文件的路徑標識為這個根目錄 root 加上我們 url 鏈接的以反斜杠分割的最后一部分仪芒,

其實這部分就是最后的 jpg 文件

這樣我們的 path 變量包含的就是本地路徑中的一個文件名稱,而這個文件名稱與網(wǎng)絡(luò)文件名的最后一部分是相同的

接下來我們以 try 和 except 為框架來獲取網(wǎng)絡(luò)代碼

首先我們用一個 if 來判斷我們的這個根目錄是否存在耕陷,如果不存在掂名,我們要先建立這個目錄

再判斷這個文件存不存在,如果文件不存在哟沫,我們通過requests get方式從網(wǎng)上獲取相關(guān)文件

代碼的可靠性和穩(wěn)定性非常重要饺蔑,所以即使在寫簡單的代碼,也都要考慮它可能出現(xiàn)的問題嗜诀,并能夠?qū)栴}進行處理

視頻猾警,flash,動畫等等也可以通過這種方法下載隆敢,原理相同发皿,稍作改變即可




IP地址歸屬地的自動查詢

如何查詢一個IP地址是來自于北京還是上海還是美國呢

我們需要找一個庫


他是通過ip138網(wǎng)站提交IP地址的一個url鏈接的接口形式

以http開頭的一個鏈接通過 ip = ipadress 這樣的形式將ipadress作為參數(shù)提交到前面的網(wǎng)頁中,

這個網(wǎng)頁根據(jù)這個參數(shù)會返回一個數(shù)據(jù)內(nèi)容拂蝎,就是這個地址對應(yīng)的所在的物理位置

我們通過這樣的url接口就可以通過提交ip地址來找到ip地址的歸屬地


我們將剛才解析出來的這個接口用url變量來表示 url = ?......

然后我們用requests方法提交一個ip地址

我們再檢測一下狀態(tài)碼

200穴墅,說明我們的提交的信息被成功的返回了

然后我們再看一下返回文本的相關(guān)內(nèi)容

r.text[-500:] 這里面我們查詢的是返回文本的最后500個字節(jié)

當返回內(nèi)容非常多的時候,有時候會導致IDLE的失效温自,所以我們建議在編寫程序然后去檢查返回數(shù)據(jù)的時候玄货,盡量約束一個空間,比如后500個或者前1000個


只要能通過瀏覽器知道向后臺提交的鏈接形式悼泌,那就可以用python代碼來向服務(wù)器提交

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末松捉,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子券躁,更是在濱河造成了極大的恐慌惩坑,老刑警劉巖掉盅,帶你破解...
    沈念sama閱讀 219,490評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件也拜,死亡現(xiàn)場離奇詭異,居然都是意外死亡趾痘,警方通過查閱死者的電腦和手機慢哈,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,581評論 3 395
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來永票,“玉大人卵贱,你說我怎么就攤上這事滥沫。” “怎么了键俱?”我有些...
    開封第一講書人閱讀 165,830評論 0 356
  • 文/不壞的土叔 我叫張陵兰绣,是天一觀的道長。 經(jīng)常有香客問我编振,道長缀辩,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,957評論 1 295
  • 正文 為了忘掉前任踪央,我火速辦了婚禮臀玄,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘畅蹂。我一直安慰自己健无,他們只是感情好,可當我...
    茶點故事閱讀 67,974評論 6 393
  • 文/花漫 我一把揭開白布液斜。 她就那樣靜靜地躺著累贤,像睡著了一般。 火紅的嫁衣襯著肌膚如雪少漆。 梳的紋絲不亂的頭發(fā)上畦浓,一...
    開封第一講書人閱讀 51,754評論 1 307
  • 那天,我揣著相機與錄音检疫,去河邊找鬼讶请。 笑死,一個胖子當著我的面吹牛屎媳,可吹牛的內(nèi)容都是我干的夺溢。 我是一名探鬼主播,決...
    沈念sama閱讀 40,464評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼烛谊,長吁一口氣:“原來是場噩夢啊……” “哼风响!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起丹禀,我...
    開封第一講書人閱讀 39,357評論 0 276
  • 序言:老撾萬榮一對情侶失蹤状勤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后双泪,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體持搜,經(jīng)...
    沈念sama閱讀 45,847評論 1 317
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,995評論 3 338
  • 正文 我和宋清朗相戀三年焙矛,在試婚紗的時候發(fā)現(xiàn)自己被綠了葫盼。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,137評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡村斟,死狀恐怖贫导,靈堂內(nèi)的尸體忽然破棺而出抛猫,到底是詐尸還是另有隱情,我是刑警寧澤孩灯,帶...
    沈念sama閱讀 35,819評論 5 346
  • 正文 年R本政府宣布闺金,位于F島的核電站,受9級特大地震影響峰档,放射性物質(zhì)發(fā)生泄漏掖看。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,482評論 3 331
  • 文/蒙蒙 一面哥、第九天 我趴在偏房一處隱蔽的房頂上張望哎壳。 院中可真熱鬧,春花似錦尚卫、人聲如沸归榕。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,023評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽刹泄。三九已至,卻和暖如春怎爵,著一層夾襖步出監(jiān)牢的瞬間特石,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,149評論 1 272
  • 我被黑心中介騙來泰國打工鳖链, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留姆蘸,地道東北人。 一個月前我還...
    沈念sama閱讀 48,409評論 3 373
  • 正文 我出身青樓芙委,卻偏偏與公主長得像逞敷,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子灌侣,可洞房花燭夜當晚...
    茶點故事閱讀 45,086評論 2 355

推薦閱讀更多精彩內(nèi)容

  • 個人學習批處理的初衷來源于實際工作推捐;在某個迭代版本有個BS(安卓手游模擬器)大需求,從而在測試過程中就重復涉及到...
    Luckykailiu閱讀 4,725評論 0 11
  • 官網(wǎng) 中文版本 好的網(wǎng)站 Content-type: text/htmlBASH Section: User ...
    不排版閱讀 4,389評論 0 5
  • 高階函數(shù):將函數(shù)作為參數(shù) sortted()它還可以接收一個key函數(shù)來實現(xiàn)自定義的排序,reversec參數(shù)可反...
    royal_47a2閱讀 689評論 0 0
  • 自言自語:(最近想買一直比較忙,都很少有時間寫點東西和大家分享,要堅持寫點東西啊!) iOS10以后增加了權(quán)限的管...
    xiao小馬哥閱讀 3,084評論 1 1
  • 我最親愛的侧啼,我知道你多愛我牛柒。 我也小心翼翼,珍惜這份美好的愛痊乾。 我也小心翼翼皮壁,好怕打破這份美好。 當我在思念里煎熬...
    w5726閱讀 314評論 0 0