requests + BeautifulSoup + urllib 爬取并下載網(wǎng)站圖片到本地(一)

這一篇主要寫使用 requests + BeautifulSoup + urllib 下載圖片保存到本地,下一篇寫下載整站詳情頁(yè)的圖片保存到本地(敬請(qǐng)期待)

爬取網(wǎng)絡(luò)上的數(shù)據(jù)其實(shí)很簡(jiǎn)單步清,只要掌握基本邏輯就好了要门。

  1. 找到網(wǎng)站;
  2. 分析所需數(shù)據(jù)的 HTML 節(jié)點(diǎn)廓啊;
  3. 把數(shù)據(jù)下載到本地或者存儲(chǔ)到數(shù)據(jù)庫(kù)

那好欢搜,廢話不多說(shuō),開(kāi)始吧谴轮!


準(zhǔn)備工作

  • 開(kāi)發(fā)環(huán)境:Windows炒瘟,Pycharm,Request书聚,BeautifulSoup唧领,urllib
  • 需要一定的 Python 爬蟲(chóng)、HTML 基礎(chǔ)

開(kāi)始動(dòng)身

  • 明確目標(biāo)
    本次要爬取的網(wǎng)站是 帥啊 網(wǎng) (點(diǎn)開(kāi)看一下雌续,有驚喜哦~[壞笑].png)
    我們需要把網(wǎng)站第一頁(yè)所有 item 的圖片下載到本地

  • 制作爬蟲(chóng)

    1. 由于獲取下來(lái)的 html 編碼格式不對(duì)醉箕,所以要指定編碼格式為 utf-8
    2. 獲取頁(yè)面中每個(gè) item 的圖片標(biāo)簽
    3. 循環(huán)獲取標(biāo)簽的圖片鏈接(src)和圖片名(alt)
    4. 下載圖片到本地
from bs4 import BeautifulSoup
import requests
import os
import urllib.request
import time

headers = {
    "Cookie": "UM_distinctid=16685e0279d3e0-06f34603dfa898-36664c08-1fa400-16685e0279e133; bdshare_firstime=1539844405694; gsScrollPos-1702681410=; CNZZDATA1254092508=1744643453-1539842703-%7C1539929860; _d_id=0ba0365838c8f6569af46a1e638d05",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36",
}
path = "D://images/"

def get_links(url):
    wb_data = requests.get(url, headers=headers)  # 加入 headers瓣履,避免被網(wǎng)站的反爬機(jī)制認(rèn)為是蜘蛛
    wb_data.encoding = "utf-8"
    soup = BeautifulSoup(wb_data.text, 'lxml')

    links = soup.select(".item-img img")
    if not os.path.exists(path):  # 判斷該文件夾是否存在哈肖,不存在則創(chuàng)建
        os.mkdir(path)
    for link in links:
        time.sleep(1)  # 暫停一秒窿侈,避免訪問(wèn)過(guò)快被反爬機(jī)制認(rèn)為是蜘蛛
        img = link.get("src")
        img_name = link.get("alt")
        urllib.request.urlretrieve(img, path + img_name + ".jpg")
        print("-------- downloading ---------")

    print("------ download done -------")

if __name__ == "__main__":

    get_links("http://www.shuaia.net/index.html")
  • 開(kāi)始爬取



?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市鸽心,隨后出現(xiàn)的幾起案子滚局,更是在濱河造成了極大的恐慌,老刑警劉巖顽频,帶你破解...
    沈念sama閱讀 211,817評(píng)論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件藤肢,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡糯景,警方通過(guò)查閱死者的電腦和手機(jī)嘁圈,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,329評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)蟀淮,“玉大人最住,你說(shuō)我怎么就攤上這事〉』蹋” “怎么了涨缚?”我有些...
    開(kāi)封第一講書人閱讀 157,354評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)策治。 經(jīng)常有香客問(wèn)我脓魏,道長(zhǎng)兰吟,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書人閱讀 56,498評(píng)論 1 284
  • 正文 為了忘掉前任轧拄,我火速辦了婚禮揽祥,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘檩电。我一直安慰自己,他們只是感情好府树,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,600評(píng)論 6 386
  • 文/花漫 我一把揭開(kāi)白布俐末。 她就那樣靜靜地躺著,像睡著了一般奄侠。 火紅的嫁衣襯著肌膚如雪卓箫。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書人閱讀 49,829評(píng)論 1 290
  • 那天垄潮,我揣著相機(jī)與錄音烹卒,去河邊找鬼。 笑死弯洗,一個(gè)胖子當(dāng)著我的面吹牛旅急,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播牡整,決...
    沈念sama閱讀 38,979評(píng)論 3 408
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼藐吮,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了逃贝?” 一聲冷哼從身側(cè)響起谣辞,我...
    開(kāi)封第一講書人閱讀 37,722評(píng)論 0 266
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎沐扳,沒(méi)想到半個(gè)月后泥从,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,189評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡沪摄,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,519評(píng)論 2 327
  • 正文 我和宋清朗相戀三年躯嫉,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片卓起。...
    茶點(diǎn)故事閱讀 38,654評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡和敬,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出戏阅,到底是詐尸還是另有隱情昼弟,我是刑警寧澤,帶...
    沈念sama閱讀 34,329評(píng)論 4 330
  • 正文 年R本政府宣布奕筐,位于F島的核電站舱痘,受9級(jí)特大地震影響变骡,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜芭逝,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,940評(píng)論 3 313
  • 文/蒙蒙 一塌碌、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧旬盯,春花似錦台妆、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書人閱讀 30,762評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至萨咳,卻和暖如春懊缺,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背培他。 一陣腳步聲響...
    開(kāi)封第一講書人閱讀 31,993評(píng)論 1 266
  • 我被黑心中介騙來(lái)泰國(guó)打工鹃两, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人舀凛。 一個(gè)月前我還...
    沈念sama閱讀 46,382評(píng)論 2 360
  • 正文 我出身青樓俊扳,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親腾降。 傳聞我的和親對(duì)象是個(gè)殘疾皇子拣度,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,543評(píng)論 2 349

推薦閱讀更多精彩內(nèi)容

  • 那條膽敢縱身一躍的魚: 外面的世界很美,有青草螃壤,有陽(yáng)光抗果,有落葉,有余輝奸晴,有溪流冤馏,有林木…… 或許你在飛躍你的世界時(shí)...
    孟小苒閱讀 493評(píng)論 0 3
  • 加油
    夏了西瓜閱讀 107評(píng)論 0 0
  • 2017年7月26日凌晨一點(diǎn)四十分,從你響亮的啼哭聲響起寄啼,我知道我終于把你生下來(lái)了逮光,我很想洗個(gè)熱水澡好好的...
    玥爾成詩(shī)閱讀 301評(píng)論 0 0