【美圖】雜圖_美圖吧_百度貼吧 爬蟲

【美圖】雜圖美圖吧_百度貼吧

# coding:utf-8
import requests
from bs4 import BeautifulSoup
import os , random
import urllib2
import sys , MySQLdb
import re
from PIL import Image
import imagehash
import uuid
from io import BytesIO

# 數(shù)據(jù)庫設(shè)置
MYSQL_HOST = 'localhost'
MYSQL_DBNAME = 'ip'
MYSQL_USER = 'mark'
MYSQL_PASSWD = '1234'
MYSQL_PORT = 3306
image_hash_set = set()

# 此處修改偽造的頭字段,
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11'}


def getProxy ( conn , cur , columns_data ):
    flag = random.choice ( columns_data )
    sql = "select proxy_ip,proxy_port from proxy where id =%d" % (flag)
    cur.execute ( sql )
    proxy = {}
    for each in cur.fetchall ():
        proxy[ 'http' ] = "http://%s:%s" % (each[ 0 ] , each[ 1 ])
    try:
        requests.get ( 'https://movie.douban.com/top250' , proxies=proxy )
    except:
        print "proxy error"
        getProxy ( conn , cur , columns_data )
    else:
        print "proxy success"
        return proxy


def get_request ( url , headers , conn , cur , columns_data ):
    proxy = getProxy ( conn , cur , columns_data )
    proxy_s = urllib2.ProxyHandler ( proxy )
    opener = urllib2.build_opener ( proxy_s )
    urllib2.install_opener ( opener )
    req = urllib2.Request ( url , headers=headers )
    r = urllib2.urlopen ( req )
    return r.read ()


def getImage ( url , headers , conn , cur , columns_data ):
    for each in range ( 1 , 7 ):
        real_url = "%s%d" % (url , each)
        html = get_request(url,headers,conn,cur,columns_data)
        soup = BeautifulSoup(html,'html.parser')
        for each in soup.findAll('div',attrs = {'id':re.compile('^post_content_(\d+)')}):
            for i in each.findAll('img',class_='BDE_Image'):
                src =  i.get('src')
                name = uuid.uuid1()
                response = requests.get ( src ).content
                image = Image.open ( BytesIO ( response) )
                imagehash_tmp = imagehash.average_hash(image)
                if imagehash_tmp not in image_hash_set:
                    print "%s\t%s.jpg" %(src,name)
                    os.chdir('C:\Users\NorthCity\Desktop\spider\image')
                    image.save ( "%s.jpg" %(name))


if __name__ == "__main__":
    conn = MySQLdb.connect ( host=MYSQL_HOST , user=MYSQL_USER , passwd=MYSQL_PASSWD , db=MYSQL_DBNAME ,
                             port=MYSQL_PORT , charset='utf8' )
    cur = conn.cursor ()
    columns = "select id from proxy"
    cur.execute ( columns )
    columns_data = [ ]
    for each in cur.fetchall ():
        columns_data.append ( each[ 0 ] )
    url = 'https://tieba.baidu.com/p/5033202671?pn='
    getImage (url , headers , conn , cur , columns_data )

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末涧尿,一起剝皮案震驚了整個濱河市系奉,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌姑廉,老刑警劉巖缺亮,帶你破解...
    沈念sama閱讀 216,997評論 6 502
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異桥言,居然都是意外死亡萌踱,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,603評論 3 392
  • 文/潘曉璐 我一進店門号阿,熙熙樓的掌柜王于貴愁眉苦臉地迎上來并鸵,“玉大人,你說我怎么就攤上這事扔涧≡暗#” “怎么了?”我有些...
    開封第一講書人閱讀 163,359評論 0 353
  • 文/不壞的土叔 我叫張陵枯夜,是天一觀的道長弯汰。 經(jīng)常有香客問我,道長湖雹,這世上最難降的妖魔是什么咏闪? 我笑而不...
    開封第一講書人閱讀 58,309評論 1 292
  • 正文 為了忘掉前任,我火速辦了婚禮摔吏,結(jié)果婚禮上鸽嫂,老公的妹妹穿的比我還像新娘纵装。我一直安慰自己,他們只是感情好溪胶,可當(dāng)我...
    茶點故事閱讀 67,346評論 6 390
  • 文/花漫 我一把揭開白布搂擦。 她就那樣靜靜地躺著,像睡著了一般哗脖。 火紅的嫁衣襯著肌膚如雪瀑踢。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,258評論 1 300
  • 那天才避,我揣著相機與錄音橱夭,去河邊找鬼。 笑死桑逝,一個胖子當(dāng)著我的面吹牛棘劣,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播楞遏,決...
    沈念sama閱讀 40,122評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼茬暇,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了寡喝?” 一聲冷哼從身側(cè)響起糙俗,我...
    開封第一講書人閱讀 38,970評論 0 275
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎预鬓,沒想到半個月后巧骚,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,403評論 1 313
  • 正文 獨居荒郊野嶺守林人離奇死亡格二,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,596評論 3 334
  • 正文 我和宋清朗相戀三年劈彪,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片顶猜。...
    茶點故事閱讀 39,769評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡沧奴,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出驶兜,到底是詐尸還是另有隱情扼仲,我是刑警寧澤,帶...
    沈念sama閱讀 35,464評論 5 344
  • 正文 年R本政府宣布抄淑,位于F島的核電站,受9級特大地震影響驰后,放射性物質(zhì)發(fā)生泄漏肆资。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,075評論 3 327
  • 文/蒙蒙 一灶芝、第九天 我趴在偏房一處隱蔽的房頂上張望郑原。 院中可真熱鬧唉韭,春花似錦、人聲如沸犯犁。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,705評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽酸役。三九已至住诸,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間涣澡,已是汗流浹背贱呐。 一陣腳步聲響...
    開封第一講書人閱讀 32,848評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留入桂,地道東北人奄薇。 一個月前我還...
    沈念sama閱讀 47,831評論 2 370
  • 正文 我出身青樓,卻偏偏與公主長得像抗愁,于是被迫代替她去往敵國和親馁蒂。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,678評論 2 354

推薦閱讀更多精彩內(nèi)容