之前用過SQL衙吩,在使用Mongo的查詢時,很不適應(yīng)溪窒,需要一 個過渡的過程坤塞,代碼直接在week1-3的作業(yè)中進(jìn)行修改的
我的代碼
from bs4 import BeautifulSoup
import requests,pymongo
import time
client = pymongo.MongoClient('localhost',27017)
xz_db = client['xz_db']
houseinfo = xz_db['houseinfo']
#獲取詳情頁鏈接
def get_url_xz(n=1): #通過參數(shù)n來控制爬取的頁數(shù),默認(rèn)為一頁
urls_list = ['http://bj.xiaozhu.com/search-duanzufang-p{}-0/'.format(str(i)) for i in range(1, n+1)] # 列表頁鏈接列表
urls_attr = [] # 詳情頁鏈接列表
#通過for循環(huán)澈蚌,把列表頁的詳情頁鏈接加入urls_attr
for url_single in urls_list:
wb_data = requests.get(url_single)
soup = BeautifulSoup(wb_data.text, 'lxml')
urls = soup.select('div#page_list > ul > li > a[target="_blank"]')
for url in urls:
urls_attr.append(url.get('href'))
return urls_attr
#爬取詳情頁數(shù)據(jù)
def get_attractions_xz(url,data=None):
for each_url in url:
wb_data = requests.get(each_url) # 獲取頁面內(nèi)容
soup = BeautifulSoup(wb_data.text, 'lxml')
# print(soup)
# 獲取目標(biāo)信息
title = soup.select('div.pho_info > h4 > em') # 標(biāo)題
address = soup.select('div.pho_info > p > span') # 地址
price = soup.select('div.day_l > span') # 價格
pic_fd = soup.select('div.member_pic > a > img') # 房東照片
name = soup.select('div.w_240 > h6 > a') # 房東姓名
sex = soup.select('div.w_240 > h6') # 房東性別
img = soup.select('div.pho_show_big > div > img') # 第一張圖片鏈接
# print(titls,address,price,pic_fangdong,name,sex,img)
# 據(jù)分析摹芙,若房東為男性,則用的CSS為'member_boy_ico'宛瞄,否則為女性浮禾,通過條件判斷為sex賦值
if len(sex[0].find_all("span", class_="member_boy_ico")):
sex = 'Male' # 男性
else:
sex = 'Female' # 女性
data = {
'title': title[0].get_text(),
'addres': address[0].get_text().split('\n')[0], # 地址中包含換行符及一行空格,通過分割份汗,只保留地址部分
'price': int(price[0].get_text()),
'pic_fd': pic_fd[0].get('src'),
'name': name[0].get("title"), # 房東姓名在title屬性中盈电,用get方法獲取
'sex': sex,
'img': img[0].get('src')
}
print(data)
houseinfo.insert_one(data)
print('Done')
#將數(shù)據(jù)保存至Mongo數(shù)據(jù)庫
url=get_url_xz(n=3) #獲取3頁的所有詳情頁鏈接,頁數(shù)可自由選擇
get_attractions_xz(url)
#讀取所需的數(shù)據(jù)
#房價大于500的房子信息
for item in houseinfo.find({'price': {'$gt':500}}):
print(item)
# 分割線
print('\n' + '-'*200 +'\n')
#房價小于500的房子信息
for item in houseinfo.find({'price': {'$lt':500}}):
print(item)
# 分割線
print('\n' + '-'*200 +'\n')
#房東為女性,房價大于300
for item in houseinfo.find({'price': {'$gt':300}} and {'sex': 'Female'} ):
print(item)
總結(jié)
1.還得去認(rèn)真學(xué)習(xí)Mongo的操作語言杯活;
2.想在python中實(shí)現(xiàn)Mongo的like 查詢匆帚,在mongo shell中可以這樣db.test.find({'name':/hucuibai/}),但在python中會報錯,請問老師旁钧,在python中應(yīng)該怎么寫吸重。