學(xué)習(xí)BeautifulSoup和requests下載圖片

出處:http://www.ehcoblog.ml/category/1/

import requests,random,time
from bs4 import BeautifulSoup

headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
    'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
    'Accept-Encoding':'gzip, deflate',
    'Accept-Language':'zh-CN,zh;q=0.8',
    'Cache-Control':'max-age=0',
    'Connection':'keep-alive',
    'Cookie':'__gads=ID=e90e92452442eef2:T=1497427490:S=ALNI_MZi4whQxIsWkk8QW0yrpnZ7MyTtfw; bdshare_firstime=1497599748961; PHPSESSID=jbnm2jk08p9fripuj44lu07427; yunsuo_session_verify=df3422073e655cde45e3dc9018fb2f94; Hm_lvt_adaf29565debc85c07b8d3c36c148a6b=1497604233,1497604246,1497604251,1497921441; Hm_lpvt_adaf29565debc85c07b8d3c36c148a6b=1497930371; AJSTAT_ok_pages=74; AJSTAT_ok_times=3',
}

proxy_list=[
    'http://219.135.164.245:3128',
    'http://106.14.51.145:8118',  # 9月25日測試,好的

    # 'http://111.13.7.123:80',
    'http://122.224.227.202:3128',
    # 'http://218.201.98.196:3128',
]

proxy_ip = random.choice(proxy_list)
proxies = {'http':proxy_ip}
print(proxy_ip)


def get_html(url):
    try:
        r = requests.get(url,headers=headers,proxies=proxies,timeout=30)
        r.raise_for_status()
        #這個(gè)網(wǎng)站使用utf-8是未辆?窟绷??問好咐柜,使用gb2312部分字是??????兼蜈,要使用gbk
        r.encoding='gbk'
        # print(r.text)
        return r.text
    except:
        return 'something wrong'

def get_content(url):
    html = get_html(url)
    soup = BeautifulSoup(html,'lxml')
    movies_list = soup.find('ul',class_='picList clearfix')
    movies = movies_list.find_all('li')
    print(movies)
    for top in movies:
        img_url_1 = top.find('img')['src'] # 查找img元素中的src
        img_url = 'https:'+img_url_1.split('?')[0]
        print(img_url)
        name = top.find('span', class_='sTit').a.text
        #查找span元素下的class=sTit的標(biāo)簽下a標(biāo)簽中的文字內(nèi)容
        print(name)
        try:
            time = top.find('span',class_='sIntro').text
        except:
            time = "暫無"
        actors = top.find('p',class_='pActor')
        actor= ''
        # print(actors.contents)
        for act in actors.contents:
            actor = actor + act.string +'  '

        #找到影片簡介
        intro = top.find('p',class_='pTxt pIntroShow').text

        print("片名:{}\t{}\n{}\n{} \n \n ".format(name,time,actor,intro))

        #要注意wb+攘残,這里不用加encoding='***'
        
        with open(name + '.png', 'wb+') as f:
            f.write(requests.get(img_url,headers=headers,proxies=proxies,timeout=30).content)
#這里要注意
            time.sleep(5)


def main():
    url = '2345'
    get_content(url)
if __name__ == "__main__":
    main()
#```
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市为狸,隨后出現(xiàn)的幾起案子歼郭,更是在濱河造成了極大的恐慌,老刑警劉巖辐棒,帶你破解...
    沈念sama閱讀 216,470評論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件病曾,死亡現(xiàn)場離奇詭異,居然都是意外死亡漾根,警方通過查閱死者的電腦和手機(jī)泰涂,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,393評論 3 392
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來辐怕,“玉大人逼蒙,你說我怎么就攤上這事〖氖瑁” “怎么了是牢?”我有些...
    開封第一講書人閱讀 162,577評論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長赁还。 經(jīng)常有香客問我妖泄,道長,這世上最難降的妖魔是什么艘策? 我笑而不...
    開封第一講書人閱讀 58,176評論 1 292
  • 正文 為了忘掉前任蹈胡,我火速辦了婚禮,結(jié)果婚禮上朋蔫,老公的妹妹穿的比我還像新娘罚渐。我一直安慰自己,他們只是感情好驯妄,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,189評論 6 388
  • 文/花漫 我一把揭開白布荷并。 她就那樣靜靜地躺著,像睡著了一般青扔。 火紅的嫁衣襯著肌膚如雪源织。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,155評論 1 299
  • 那天微猖,我揣著相機(jī)與錄音谈息,去河邊找鬼。 笑死凛剥,一個(gè)胖子當(dāng)著我的面吹牛侠仇,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 40,041評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼逻炊,長吁一口氣:“原來是場噩夢啊……” “哼互亮!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起余素,我...
    開封第一講書人閱讀 38,903評論 0 274
  • 序言:老撾萬榮一對情侶失蹤豹休,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后桨吊,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體慕爬,經(jīng)...
    沈念sama閱讀 45,319評論 1 310
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,539評論 2 332
  • 正文 我和宋清朗相戀三年屏积,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了医窿。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 39,703評論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡炊林,死狀恐怖姥卢,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情渣聚,我是刑警寧澤独榴,帶...
    沈念sama閱讀 35,417評論 5 343
  • 正文 年R本政府宣布,位于F島的核電站奕枝,受9級特大地震影響棺榔,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜隘道,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,013評論 3 325
  • 文/蒙蒙 一症歇、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧谭梗,春花似錦忘晤、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,664評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至远舅,卻和暖如春闰蛔,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背图柏。 一陣腳步聲響...
    開封第一講書人閱讀 32,818評論 1 269
  • 我被黑心中介騙來泰國打工序六, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人爆办。 一個(gè)月前我還...
    沈念sama閱讀 47,711評論 2 368
  • 正文 我出身青樓难咕,卻偏偏與公主長得像课梳,于是被迫代替她去往敵國和親距辆。 傳聞我的和親對象是個(gè)殘疾皇子余佃,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,601評論 2 353