#!/usr/bin/env python
#coding:utf-8
import urllib.request
import urllib.parse
import http.cookiejar
import re
import random
import time
import os
rex = '"url":"http:.*?jpg"'
rex2 = "'albumName':'.*?',"
page = 1
isLoadEnd = False
albumIds = ["225325744"]
def login():
#這個(gè)地址是在network中監(jiān)控的真實(shí)提交表單的地址
url = "http://www.renren.com/ajaxLogin/login?1=1&uniqueTimestamp=20171011315479"
postdata = urllib.parse.urlencode({
"email":"same4869@163.com",
"password":"wangxun0902"
}).encode('utf-8')
req = urllib.request.Request(url, postdata)
# randdom_header = random.choice(my_headers)
# req.add_header("User-Agent",randdom_header)
#使用http.cookiejar.CookieJar()創(chuàng)建CookieJar對(duì)象
cjar = http.cookiejar.CookieJar()
#使用HTTPCookieProcessor創(chuàng)建cookie處理器,并以其為參數(shù)構(gòu)造opener
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cjar))
#安裝為全局opener
urllib.request.install_opener(opener)
file = opener.open(req)
# data = file.read()
# file = open("/Users/xunwang/Desktop/python/Demo1.5.html", "wb")
# file.write(data)
# file.close()
def pachong(albumId,upage,picFileDir):
# url2 = "http://photo.renren.com/photo/240205043/album-267052848/v7"
url2 = "http://photo.renren.com/photo/235602297/album-" + albumId + "/bypage/ajax/v7?page=" + str(upage) + "&pageSize=100&requestToken=2078225833&_rtk=47a03403;"
data2 = urllib.request.urlopen(url2).read()
data2 = data2.decode('utf-8')
print(url2)
global isLoadEnd
global page
imgre = re.compile(rex)
imglist = re.findall(imgre,data2)
size = len(imglist)
print(size)
print(page)
if size != 100:
isLoadEnd = True
else:
page = page + 1
print(isLoadEnd)
# exit()
y = 0
opener=urllib.request.build_opener()
opener.addheaders=[('User-Agent','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36')]#'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1941.0 Safari/537.36')]
urllib.request.install_opener(opener)
for imgurl in imglist:
#time.sleep(5)
# new_header = random.choice(my_headers)
#print("new_header --> " + new_header)
# opener=urllib.request.build_opener()
# opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1941.0 Safari/537.36')]
# urllib.request.install_opener(opener)
rimageurl = imgurl[7:-1].replace('\\','')
z = rimageurl[-20:-4]
y = y + 1
print("rimageurl --> " + rimageurl + " y --> " + str(y) + " z --> " + str(z) + " page --> " + str(page))
urllib.request.urlretrieve(rimageurl, picFileDir + '/s_%s_%s_%s.jpg' % (str(page),str(y),str(z)))
# print(imglist)
def makePicFileDir(albumId):
url3 = "http://photo.renren.com/photo/235602297/album-" + albumId + "/v7"
data3 = urllib.request.urlopen(url3).read()
data3 = data3.decode('utf-8')
imgre3 = re.compile(rex2)
print("imgre3:" + str(imgre3) + " data3:" + data3)
imglist3 = re.findall(imgre3,data3)
print(imglist3[0])
albumName = imglist3[0][13:-2]
print(albumName)
albumPicPath = "/Users/wangxun/Desktop/python/imgs/" + albumName
os.makedirs(albumPicPath)
return albumPicPath
# exit()
if __name__=='__main__':
# login()
for albumId in albumIds:
isLoadEnd = False
page = 1
login()
picFileDir = makePicFileDir(albumId)
while(isLoadEnd == False):
login()
pachong(albumId,page,picFileDir)
爬和卓照片
最后編輯于 :
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
- 文/潘曉璐 我一進(jìn)店門册烈,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人,你說(shuō)我怎么就攤上這事赏僧〈竺停” “怎么了?”我有些...
- 文/不壞的土叔 我叫張陵淀零,是天一觀的道長(zhǎng)挽绩。 經(jīng)常有香客問(wèn)我,道長(zhǎng)驾中,這世上最難降的妖魔是什么唉堪? 我笑而不...
- 正文 為了忘掉前任,我火速辦了婚禮肩民,結(jié)果婚禮上唠亚,老公的妹妹穿的比我還像新娘。我一直安慰自己持痰,他們只是感情好灶搜,可當(dāng)我...
- 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著工窍,像睡著了一般割卖。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上患雏,一...
- 那天鹏溯,我揣著相機(jī)與錄音,去河邊找鬼纵苛。 笑死剿涮,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的攻人。 我是一名探鬼主播取试,決...
- 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼怀吻!你這毒婦竟也來(lái)了瞬浓?” 一聲冷哼從身側(cè)響起,我...
- 序言:老撾萬(wàn)榮一對(duì)情侶失蹤蓬坡,失蹤者是張志新(化名)和其女友劉穎猿棉,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體屑咳,經(jīng)...
- 正文 獨(dú)居荒郊野嶺守林人離奇死亡萨赁,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
- 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了兆龙。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片杖爽。...
- 正文 年R本政府宣布化焕,位于F島的核電站萄窜,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏撒桨。R本人自食惡果不足惜查刻,卻給世界環(huán)境...
- 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望元莫。 院中可真熱鬧赖阻,春花似錦、人聲如沸踱蠢。這莊子的主人今日做“春日...
- 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)茎截。三九已至苇侵,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間企锌,已是汗流浹背榆浓。 一陣腳步聲響...
- 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像抖坪,于是被迫代替她去往敵國(guó)和親萍鲸。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
推薦閱讀更多精彩內(nèi)容
- https://www.cnblogs.com/xiao-apple36/p/8433400.html urlli...
- HTTP響應(yīng)狀態(tài)碼參考: 1xx:信息 100Continue 服務(wù)器僅接收到部分請(qǐng)求擦俐,但是一旦服務(wù)器并沒(méi)有拒絕該...
- Handler處理器 和 自定義Opener 1. 概述 opener是 urllib2.OpenerDirect...
- 你是用筆寫,還是用心寫埋合?對(duì)于寫字來(lái)說(shuō)备徐,這很關(guān)鍵。寫了很久的毛筆字甚颂,自己感覺(jué)也頗是努力坦喘,可是總覺(jué)得進(jìn)步甚是緩慢盲再。當(dāng)然...
- (十一月24日西设,齊魯大地大部降初雪瓣铣,及午,唯青島遲不見(jiàn)雪贷揽,而后棠笑,突降,急急乎如雨禽绪,作小詩(shī)以紀(jì)之) 哈蓖救,雪精靈, 乘...