import requests
import re
import json
from lxml import etree
import urllib.parse
import urllib
import pymysql,random,time
conn=pymysql.connect(host='127.0.0.1',user='root',password='bc123',db='leshop',charset='utf8')
cur=conn.cursor()
header = {
"User-Agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36",
}
def qingqiu(url):
response = requests.get(url,headers=header)
response.encoding = 'utf-8'
# print(response.status_code)
a= etree.HTML(response.text)
b = a.xpath('//*[@id="pcUL"]/dl[1]/dd/div/ul')
# print(b)
for i in b:
jiexi = i.xpath('.//li[1]/p')
for w in jiexi:
ww = w.xpath('.//a/text()')
# print(ww)
qq = w.xpath('.//a/@href')
for e in qq:
url = urllib.parse.urljoin(response.url,e)
# print(url)
yuedxq(url)
# yield yuedxq(url)
def yuedxq(url):
# print(url)
response = requests.get(url,headers=header)
# print(response)
response.encoding = 'utf-8'
# print(response.status_code)
a= etree.HTML(response.text)
v = a.xpath('//*[@id="5"]/a[2]/@title')
for rr in v:
ee = rr
d = a.xpath('//*[@id="listShowStyleBody"]/li/div[3]/div[1]/p/em/text()')
for y in d:
wr = y
# print(d)
b = a.xpath('//*[@id="listShowStyleBody"]/li/div[2]/h4/a/@title')
for qw in b:
we = qw
# print(we)
c = a.xpath('//*[@id="listShowStyleBody"]/li/div[1]/a/img/@src')
# a=random.randint(0,1000)
# name = models.CharField(magth=100, verbose_name="商品名")
# sql='''insert into goods_goods(goods_sn,name,click_num,sold_num,fav_num,goods_num,market_price,shop_price,goods_brief,goods_desc,ship_free,is_new,is_hot,add_time,category_id) values(0,%s,0,0,0,0,0,0,0,0,True,False,False,%s,%s)'''
# s=time.time()
sql='''insert into goods_goodscategory(id,name,code,`desc`,category_type,is_tab,add_time,parent_category_id) values(0,%s,1,0,3,1,%s,1)'''
s= time.strftime('%Y-%m-%d',time.localtime(time.time()))
ss=random.randint(20,106)
# cur.execute(sql,(ee,s,ss))
cur.execute(sql,(ee,s))
conn.commit()
if __name__ == '__main__':
url = "http://xjbh.net/index.html"
qingqiu(url)
雜類爬取香江百貨 硬存數(shù)據(jù)庫
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
- 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來澜驮,“玉大人陷揪,你說我怎么就攤上這事≡忧睿” “怎么了悍缠?”我有些...
- 文/不壞的土叔 我叫張陵,是天一觀的道長耐量。 經(jīng)常有香客問我飞蚓,道長,這世上最難降的妖魔是什么廊蜒? 我笑而不...
- 正文 為了忘掉前任趴拧,我火速辦了婚禮,結(jié)果婚禮上山叮,老公的妹妹穿的比我還像新娘八堡。我一直安慰自己,他們只是感情好聘芜,可當(dāng)我...
- 文/花漫 我一把揭開白布兄渺。 她就那樣靜靜地躺著,像睡著了一般汰现。 火紅的嫁衣襯著肌膚如雪挂谍。 梳的紋絲不亂的頭發(fā)上叔壤,一...
- 文/蒼蘭香墨 我猛地睜開眼疟呐,長吁一口氣:“原來是場噩夢啊……” “哼脚曾!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起启具,我...
- 序言:老撾萬榮一對情侶失蹤本讥,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后鲁冯,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體拷沸,經(jīng)...
- 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
- 正文 我和宋清朗相戀三年薯演,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了撞芍。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
- 正文 年R本政府宣布米罚,位于F島的核電站钧汹,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏录择。R本人自食惡果不足惜拔莱,卻給世界環(huán)境...
- 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望隘竭。 院中可真熱鬧塘秦,春花似錦、人聲如沸动看。這莊子的主人今日做“春日...
- 文/蒼蘭香墨 我抬頭看了看天上的太陽菱皆。三九已至须误,卻和暖如春挨稿,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背京痢。 一陣腳步聲響...
- 正文 我出身青樓臭家,卻偏偏與公主長得像,于是被迫代替她去往敵國和親方淤。 傳聞我的和親對象是個(gè)殘疾皇子钉赁,可洞房花燭夜當(dāng)晚...
推薦閱讀更多精彩內(nèi)容
- 這是全部的調(diào)試過程,我已經(jīng)整理成為筆記臣淤,這里分享給大家:python爬取豆瓣兩千萬圖書簡介信息:(一)目標(biāo)API分...
- 本人長期出售超大量微博數(shù)據(jù)橄霉、旅游網(wǎng)站評論數(shù)據(jù),并提供各種指定數(shù)據(jù)爬取服務(wù)邑蒋,Message to YuboonaZh...
- talk is cheap,show you the code 'use strict'; const http ...
- 'use strict'; const http = require('http'); const cheerio...