Python爬蟲分享【2】

所有代碼:https://github.com/tony5225/wuba

目標(biāo):對(duì)以下各個(gè)類目商品信息進(jìn)行爬取清笨,放入mongodb中

基本思路:

  • 很明顯此問題需要分三步進(jìn)行
  • 首先需要爬去此頁的全部類別鏈接
  • 需要進(jìn)入各個(gè)類目商品即硼,獲取此類目下各商品鏈接
  • 最后進(jìn)入每個(gè)商品網(wǎng)頁齿诞,爬取目標(biāo)信息亭姥,并存入數(shù)據(jù)庫里

獲取類別鏈接:

  • 防止被反爬取瘦麸,采取代理方式狞换,每次爬取前隨機(jī)選擇代理
# -*- coding: utf-8 -*-
from bs4 import BeautifulSoup
import requests
import random
headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.82 Safari/537.36',
'Connection':'keep-alive'}
proxy_list=['http://190.147.220.37:8080','http://194.79.146.210:8080','http://213.6.3.35:8080','http://223.27.170.219:10000','http://31.208.7.22:8888','http://136.243.122.90:3128']
'''proxy_list = [
 'http://117.177.250.151:8081',
 'http://111.85.219.250:3129',
 'http://122.70.183.138:8118',
 ]'''
start_url='http://bj.ganji.com/wu/'
host_url='http://bj.ganji.com'
urls=[]
'''proxy_ip=random.choice(proxy_list)
proxies = {'http': proxy_ip}'''
def get_links(url):
    wb_data=requests.get(url,headers=headers)
    soup=BeautifulSoup(wb_data.text,'lxml')
    links1=soup.select('dt > a')
    links2=soup.select('dd > a')
    links=links1+links2
    for link in links:
        page_url=host_url+link.get('href')
        print page_url
        urls.append(page_url)
        return urls
linkurl=get_links(start_url)
  

獲取商品鏈接及商品信息

由于與(1)類似污呼,我又不重復(fù)了裕坊,想看的戳這里:
https://github.com/tony5225/wuba/blob/master/get_parsing.py

主函數(shù)

  • 為了加快爬取速度,我們采取多進(jìn)程爬取
  • 為了防止數(shù)據(jù)庫中存入重復(fù)的數(shù)據(jù)燕酷,我們采用集合的方式籍凝,方便中斷后繼續(xù)采取
# -*- coding: utf-8 -*-
from multiprocessing import Pool
from get_parsing import get_item_info,get_links_from,url_list,item_info
db_urls=[item['url'] for item in url_list.find()]
index_urls = [item['url'] for item in item_info.find()]
x = set(db_urls)
y = set(index_urls)
rest_of_urls = x-y
if __name__ == '__main__':
    pool = Pool()
    # pool = Pool()
    pool.map(get_item_info,rest_of_urls)
    pool.close()
    pool.join()

查詢mongodb中存的數(shù)據(jù)的數(shù)量:

# -*- coding: utf-8 -*-
from bs4 import BeautifulSoup
import requests
from get_parsing import url_list
import pymongo
conn = pymongo.MongoClient(host='127.0.0.1',port=27017)
db = conn.ganji
#account = db
print db.collection_names()
print db.url_listganji.count()
print db.item_infoganji.count()
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市苗缩,隨后出現(xiàn)的幾起案子饵蒂,更是在濱河造成了極大的恐慌,老刑警劉巖挤渐,帶你破解...
    沈念sama閱讀 216,744評(píng)論 6 502
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件苹享,死亡現(xiàn)場(chǎng)離奇詭異双絮,居然都是意外死亡浴麻,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,505評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門囤攀,熙熙樓的掌柜王于貴愁眉苦臉地迎上來软免,“玉大人,你說我怎么就攤上這事焚挠「嘞簦” “怎么了?”我有些...
    開封第一講書人閱讀 163,105評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵蝌衔,是天一觀的道長(zhǎng)榛泛。 經(jīng)常有香客問我,道長(zhǎng)噩斟,這世上最難降的妖魔是什么曹锨? 我笑而不...
    開封第一講書人閱讀 58,242評(píng)論 1 292
  • 正文 為了忘掉前任,我火速辦了婚禮剃允,結(jié)果婚禮上沛简,老公的妹妹穿的比我還像新娘。我一直安慰自己斥废,他們只是感情好椒楣,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,269評(píng)論 6 389
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著牡肉,像睡著了一般捧灰。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上统锤,一...
    開封第一講書人閱讀 51,215評(píng)論 1 299
  • 那天毛俏,我揣著相機(jī)與錄音吩屹,去河邊找鬼。 笑死拧抖,一個(gè)胖子當(dāng)著我的面吹牛煤搜,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播唧席,決...
    沈念sama閱讀 40,096評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼擦盾,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了淌哟?” 一聲冷哼從身側(cè)響起迹卢,我...
    開封第一講書人閱讀 38,939評(píng)論 0 274
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎徒仓,沒想到半個(gè)月后腐碱,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,354評(píng)論 1 311
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡掉弛,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,573評(píng)論 2 333
  • 正文 我和宋清朗相戀三年症见,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片殃饿。...
    茶點(diǎn)故事閱讀 39,745評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡谋作,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出乎芳,到底是詐尸還是另有隱情遵蚜,我是刑警寧澤,帶...
    沈念sama閱讀 35,448評(píng)論 5 344
  • 正文 年R本政府宣布奈惑,位于F島的核電站吭净,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏肴甸。R本人自食惡果不足惜寂殉,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,048評(píng)論 3 327
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望雷滋。 院中可真熱鬧不撑,春花似錦、人聲如沸晤斩。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,683評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽澳泵。三九已至实愚,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背腊敲。 一陣腳步聲響...
    開封第一講書人閱讀 32,838評(píng)論 1 269
  • 我被黑心中介騙來泰國(guó)打工击喂, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人碰辅。 一個(gè)月前我還...
    沈念sama閱讀 47,776評(píng)論 2 369
  • 正文 我出身青樓懂昂,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親没宾。 傳聞我的和親對(duì)象是個(gè)殘疾皇子凌彬,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,652評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容