雜類爬取香江百貨 硬存數(shù)據(jù)庫


import requests
import re
import json
from lxml import etree
import urllib.parse
import urllib
import pymysql,random,time
conn=pymysql.connect(host='127.0.0.1',user='root',password='bc123',db='leshop',charset='utf8')
cur=conn.cursor()

header = {
    "User-Agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36",
    
}

def qingqiu(url):
    response = requests.get(url,headers=header)
    response.encoding = 'utf-8'
    # print(response.status_code)
    a= etree.HTML(response.text)
    b = a.xpath('//*[@id="pcUL"]/dl[1]/dd/div/ul')
    # print(b)
    for i in b:
   
        jiexi = i.xpath('.//li[1]/p')
        for w in jiexi:
            ww = w.xpath('.//a/text()')
            # print(ww)
            qq = w.xpath('.//a/@href')
            for e in qq:
                url = urllib.parse.urljoin(response.url,e)
                # print(url)
                yuedxq(url)
                # yield yuedxq(url)

def yuedxq(url):
    # print(url)
    response = requests.get(url,headers=header)
    # print(response)
    response.encoding = 'utf-8'
    # print(response.status_code)
    a= etree.HTML(response.text)
    v = a.xpath('//*[@id="5"]/a[2]/@title')
    for rr in v:
        ee = rr
    d = a.xpath('//*[@id="listShowStyleBody"]/li/div[3]/div[1]/p/em/text()')
    for y in d:
        wr = y
    # print(d)
    b = a.xpath('//*[@id="listShowStyleBody"]/li/div[2]/h4/a/@title')
    for qw in b:
        we = qw
        # print(we)
    c = a.xpath('//*[@id="listShowStyleBody"]/li/div[1]/a/img/@src')
    # a=random.randint(0,1000)
    # name = models.CharField(magth=100, verbose_name="商品名")
    # sql='''insert into goods_goods(goods_sn,name,click_num,sold_num,fav_num,goods_num,market_price,shop_price,goods_brief,goods_desc,ship_free,is_new,is_hot,add_time,category_id) values(0,%s,0,0,0,0,0,0,0,0,True,False,False,%s,%s)'''
    # s=time.time()
    sql='''insert into goods_goodscategory(id,name,code,`desc`,category_type,is_tab,add_time,parent_category_id) values(0,%s,1,0,3,1,%s,1)'''
    s= time.strftime('%Y-%m-%d',time.localtime(time.time()))
    ss=random.randint(20,106)
    # cur.execute(sql,(ee,s,ss)) 
    cur.execute(sql,(ee,s))

    conn.commit()   
 

if __name__ == '__main__':
    url = "http://xjbh.net/index.html"
    qingqiu(url)

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末裁着,一起剝皮案震驚了整個(gè)濱河市母谎,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖乳绕,帶你破解...
    沈念sama閱讀 222,729評論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件享潜,死亡現(xiàn)場離奇詭異,居然都是意外死亡基协,警方通過查閱死者的電腦和手機(jī)歌亲,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,226評論 3 399
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來澜驮,“玉大人陷揪,你說我怎么就攤上這事≡忧睿” “怎么了悍缠?”我有些...
    開封第一講書人閱讀 169,461評論 0 362
  • 文/不壞的土叔 我叫張陵,是天一觀的道長耐量。 經(jīng)常有香客問我飞蚓,道長,這世上最難降的妖魔是什么廊蜒? 我笑而不...
    開封第一講書人閱讀 60,135評論 1 300
  • 正文 為了忘掉前任趴拧,我火速辦了婚禮,結(jié)果婚禮上山叮,老公的妹妹穿的比我還像新娘八堡。我一直安慰自己,他們只是感情好聘芜,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,130評論 6 398
  • 文/花漫 我一把揭開白布兄渺。 她就那樣靜靜地躺著,像睡著了一般汰现。 火紅的嫁衣襯著肌膚如雪挂谍。 梳的紋絲不亂的頭發(fā)上叔壤,一...
    開封第一講書人閱讀 52,736評論 1 312
  • 那天,我揣著相機(jī)與錄音口叙,去河邊找鬼炼绘。 笑死,一個(gè)胖子當(dāng)著我的面吹牛妄田,可吹牛的內(nèi)容都是我干的俺亮。 我是一名探鬼主播,決...
    沈念sama閱讀 41,179評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼疟呐,長吁一口氣:“原來是場噩夢啊……” “哼脚曾!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起启具,我...
    開封第一講書人閱讀 40,124評論 0 277
  • 序言:老撾萬榮一對情侶失蹤本讥,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后鲁冯,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體拷沸,經(jīng)...
    沈念sama閱讀 46,657評論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,723評論 3 342
  • 正文 我和宋清朗相戀三年薯演,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了撞芍。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,872評論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡跨扮,死狀恐怖勤庐,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情好港,我是刑警寧澤,帶...
    沈念sama閱讀 36,533評論 5 351
  • 正文 年R本政府宣布米罚,位于F島的核電站钧汹,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏录择。R本人自食惡果不足惜拔莱,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,213評論 3 336
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望隘竭。 院中可真熱鬧塘秦,春花似錦、人聲如沸动看。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,700評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽菱皆。三九已至须误,卻和暖如春挨稿,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背京痢。 一陣腳步聲響...
    開封第一講書人閱讀 33,819評論 1 274
  • 我被黑心中介騙來泰國打工奶甘, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人祭椰。 一個(gè)月前我還...
    沈念sama閱讀 49,304評論 3 379
  • 正文 我出身青樓臭家,卻偏偏與公主長得像,于是被迫代替她去往敵國和親方淤。 傳聞我的和親對象是個(gè)殘疾皇子钉赁,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,876評論 2 361

推薦閱讀更多精彩內(nèi)容