爬和卓照片

#!/usr/bin/env python
#coding:utf-8
import urllib.request
import urllib.parse
import http.cookiejar
import re
import random
import time
import os

rex = '"url":"http:.*?jpg"'
rex2 = "'albumName':'.*?',"
page = 1
isLoadEnd = False
albumIds = ["225325744"]

def login():
    #這個(gè)地址是在network中監(jiān)控的真實(shí)提交表單的地址
    url = "http://www.renren.com/ajaxLogin/login?1=1&uniqueTimestamp=20171011315479"
    postdata = urllib.parse.urlencode({
        "email":"same4869@163.com",
        "password":"wangxun0902"
    }).encode('utf-8')
    req = urllib.request.Request(url, postdata)

    # randdom_header = random.choice(my_headers)
    # req.add_header("User-Agent",randdom_header)
    #使用http.cookiejar.CookieJar()創(chuàng)建CookieJar對(duì)象
    cjar = http.cookiejar.CookieJar()
    #使用HTTPCookieProcessor創(chuàng)建cookie處理器,并以其為參數(shù)構(gòu)造opener
    opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cjar))
    #安裝為全局opener
    urllib.request.install_opener(opener)
    file = opener.open(req)
    # data = file.read()
    # file = open("/Users/xunwang/Desktop/python/Demo1.5.html", "wb")
    # file.write(data)
    # file.close()

def pachong(albumId,upage,picFileDir):
    # url2 = "http://photo.renren.com/photo/240205043/album-267052848/v7"
    url2 = "http://photo.renren.com/photo/235602297/album-" + albumId + "/bypage/ajax/v7?page=" + str(upage) + "&pageSize=100&requestToken=2078225833&_rtk=47a03403;"
    data2 = urllib.request.urlopen(url2).read()
    data2 = data2.decode('utf-8')
    print(url2) 

    global isLoadEnd
    global page
    imgre = re.compile(rex)
    imglist = re.findall(imgre,data2)
    size = len(imglist)
    print(size)
    print(page)
    if size != 100:
        isLoadEnd = True
    else:
        page = page + 1
    print(isLoadEnd)
    # exit()

    y = 0

    opener=urllib.request.build_opener()
    opener.addheaders=[('User-Agent','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36')]#'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1941.0 Safari/537.36')]
    urllib.request.install_opener(opener)

    for imgurl in imglist:
        #time.sleep(5)
        # new_header = random.choice(my_headers)
        #print("new_header --> " + new_header)

        # opener=urllib.request.build_opener()
        # opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1941.0 Safari/537.36')]
        # urllib.request.install_opener(opener)
        
        rimageurl = imgurl[7:-1].replace('\\','')
        z = rimageurl[-20:-4]
        y = y + 1
        print("rimageurl --> " + rimageurl + " y --> " + str(y) + " z --> " + str(z) + " page --> " + str(page))
        urllib.request.urlretrieve(rimageurl, picFileDir + '/s_%s_%s_%s.jpg' % (str(page),str(y),str(z)))

    # print(imglist)

def makePicFileDir(albumId):
    url3 = "http://photo.renren.com/photo/235602297/album-" + albumId + "/v7"
    data3 = urllib.request.urlopen(url3).read()
    data3 = data3.decode('utf-8')
    imgre3 = re.compile(rex2)
    print("imgre3:" + str(imgre3) + "  data3:" + data3)
    imglist3 = re.findall(imgre3,data3)
    print(imglist3[0])
    albumName = imglist3[0][13:-2]
    print(albumName)
    albumPicPath = "/Users/wangxun/Desktop/python/imgs/" + albumName
    os.makedirs(albumPicPath)
    return albumPicPath
    # exit()

if __name__=='__main__':
    # login()
    for albumId in albumIds:
        isLoadEnd = False
        page = 1
        login()
        picFileDir = makePicFileDir(albumId)
        while(isLoadEnd == False):
            login()
            pachong(albumId,page,picFileDir)
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌脚草,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,591評(píng)論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件裂逐,死亡現(xiàn)場(chǎng)離奇詭異追逮,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)谈喳,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,448評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門册烈,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人,你說(shuō)我怎么就攤上這事赏僧〈竺停” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 162,823評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵淀零,是天一觀的道長(zhǎng)挽绩。 經(jīng)常有香客問(wèn)我,道長(zhǎng)驾中,這世上最難降的妖魔是什么唉堪? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,204評(píng)論 1 292
  • 正文 為了忘掉前任,我火速辦了婚禮肩民,結(jié)果婚禮上唠亚,老公的妹妹穿的比我還像新娘。我一直安慰自己持痰,他們只是感情好灶搜,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,228評(píng)論 6 388
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著工窍,像睡著了一般割卖。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上患雏,一...
    開(kāi)封第一講書(shū)人閱讀 51,190評(píng)論 1 299
  • 那天鹏溯,我揣著相機(jī)與錄音,去河邊找鬼纵苛。 笑死剿涮,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的攻人。 我是一名探鬼主播取试,決...
    沈念sama閱讀 40,078評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼怀吻!你這毒婦竟也來(lái)了瞬浓?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 38,923評(píng)論 0 274
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤蓬坡,失蹤者是張志新(化名)和其女友劉穎猿棉,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體屑咳,經(jīng)...
    沈念sama閱讀 45,334評(píng)論 1 310
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡萨赁,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,550評(píng)論 2 333
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了兆龙。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片杖爽。...
    茶點(diǎn)故事閱讀 39,727評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出慰安,到底是詐尸還是另有隱情腋寨,我是刑警寧澤,帶...
    沈念sama閱讀 35,428評(píng)論 5 343
  • 正文 年R本政府宣布化焕,位于F島的核電站萄窜,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏撒桨。R本人自食惡果不足惜查刻,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,022評(píng)論 3 326
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望元莫。 院中可真熱鬧赖阻,春花似錦、人聲如沸踱蠢。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,672評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)茎截。三九已至苇侵,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間企锌,已是汗流浹背榆浓。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,826評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留撕攒,地道東北人陡鹃。 一個(gè)月前我還...
    沈念sama閱讀 47,734評(píng)論 2 368
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像抖坪,于是被迫代替她去往敵國(guó)和親萍鲸。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,619評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容