from bs4 import BeautifulSoup
import requests
import time
import pymongo
client = pymongo.MongoClient('localhost',27017)
walden = client['walden']
sheet_tab = walden['sheet_tab']
url = 'https://m.lianjia.com/bj/zufang/101102453003.html'
urls = ['https://m.lianjia.com/bj/zufang/pg{}'.format(str(i)) for i in range(1,3)]
def get_houses(url,data=None):
wb_data = requests.get(url)
soup = BeautifulSoup(wb_data.text, 'lxml')
time.sleep(2) #防止請(qǐng)求過(guò)于頻繁被反爬蟲(chóng)
titles = soup.select('div.item_list > div.item_main')
adds = soup.select('div.item_list > div.item_other.text_cut')
prices = soup.select('div.item_list > div.item_minor > span > em')
imgs = soup.select('div.mod_media > div > img')
for title,img,add,price in zip(titles,imgs,adds,prices):
data = {
'title':title.get_text(),
'img':img.get('origin-src'),
'add':add.get_text(),
'price':price.get_text(),
}
sheet_tab.insert_one(data)
for single_url in urls:
get_houses(single_url)
#輸出所有價(jià)格大于5000的數(shù)據(jù)
# for info in sheet_tab.find():
# if int(info['price']) > 5000:
# print(info)
python爬蟲(chóng)：爬取房源數(shù)據(jù)
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
- 文/潘曉璐 我一進(jìn)店門(mén)斥铺，熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)彻桃，“玉大人坛善，你說(shuō)我怎么就攤上這事晾蜘×诰欤” “怎么了？”我有些...
- 文/不壞的土叔 我叫張陵剔交，是天一觀的道長(zhǎng)肆饶。 經(jīng)常有香客問(wèn)我，道長(zhǎng)岖常，這世上最難降的妖魔是什么驯镊？ 我笑而不...
- 正文 為了忘掉前任，我火速辦了婚禮竭鞍，結(jié)果婚禮上板惑，老公的妹妹穿的比我還像新娘。我一直安慰自己偎快，他們只是感情好冯乘，可當(dāng)我...
- 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著晒夹，像睡著了一般裆馒。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上丐怯，一...
- 那天喷好，我揣著相機(jī)與錄音，去河邊找鬼读跷。 笑死梗搅，一個(gè)胖子當(dāng)著我的面吹牛，可吹牛的內(nèi)容都是我干的舔亭。 我是一名探鬼主播些膨，決...
- 文/蒼蘭香墨 我猛地睜開(kāi)眼，長(zhǎng)吁一口氣：“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼钦铺！你這毒婦竟也來(lái)了订雾？” 一聲冷哼從身側(cè)響起，我...
- 序言：老撾萬(wàn)榮一對(duì)情侶失蹤矛洞，失蹤者是張志新（化名）和其女友劉穎洼哎，沒(méi)想到半個(gè)月后，有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體沼本，經(jīng)...
- 正文 獨(dú)居荒郊野嶺守林人離奇死亡噩峦，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
- 正文 我和宋清朗相戀三年，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了抽兆。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片识补。...
- 正文 年R本政府宣布切油，位于F島的核電站蝙斜，受9級(jí)特大地震影響，放射性物質(zhì)發(fā)生泄漏澎胡。R本人自食惡果不足惜孕荠，卻給世界環(huán)境...
- 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望攻谁。 院中可真熱鬧稚伍，春花似錦、人聲如沸戚宦。這莊子的主人今日做“春日...
- 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)阁苞。三九已至困檩，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間那槽，已是汗流浹背悼沿。 一陣腳步聲響...
- 正文 我出身青樓，卻偏偏與公主長(zhǎng)得像甚牲，于是被迫代替她去往敵國(guó)和親义郑。 傳聞我的和親對(duì)象是個(gè)殘疾皇子，可洞房花燭夜當(dāng)晚...
推薦閱讀更多精彩內(nèi)容
- 首先丈钙，我這里有一份相關(guān)城市以及該城市的公園數(shù)量的txt文件： 其次非驮，利用百度地圖API提供的接口爬取城市公園的相關(guān)...
- 保存到Mysql數(shù)據(jù)庫(kù)，需要用到mysqlclient模塊雏赦，需要事先安裝劫笙，這個(gè)模塊在django也會(huì)用到。 1星岗、數(shù)...
- Charles證書(shū)安裝 如果不進(jìn)行下面的設(shè)置俏橘，https的reqeust和response都是亂碼允华，設(shè)置完之后ht...
