1. 引言
Paste_Image.png
Paste_Image.png
2. 分析
- 定義生成日期的函數(shù)
- 篩選哪些帖子在指定日期內(nèi), 統(tǒng)計(jì)該日期內(nèi)指定區(qū)域的所有帖子
- 篩選哪些帖子在指定日期內(nèi), 統(tǒng)計(jì)該日期內(nèi)指定成色的所有帖子數(shù)量和總價(jià)格
3. 實(shí)現(xiàn)部分
In [1] :
from pymongo import MongoClient
from datetime import timedelta, date
import charts
Server running in the folder /home/wjh at 127.0.0.1:52450
In [2] :
client = MongoClient('10.66.17.17', 27017)
database = client['ganji']
item_info = database['item_info']
In [3] :
# 查看下源數(shù)據(jù)
[i for i in item_info.find().limit(30)]
Out [3] :
[{'_id': ObjectId('5698f524a98063dbe9e91ca8'),
'area': ['朝陽', '高碑店'],
'cates': ['北京58同城', '北京二手市場(chǎng)', '北京二手家電', '北京二手冰柜'],
'look': '-',
'price': 450,
'pub_date': '2016.01.12',
'time': 0,
'title': '【圖】95成新小冰柜轉(zhuǎn)讓 - 朝陽高碑店二手家電 - 北京58同城',
'url': 'http://bj.58.com/jiadian/24541664530488x.shtml'},
{'_id': ObjectId('5698f525a98063dbe4e91ca8'),
'area': ['朝陽', '定福莊'],
'cates': ['北京58同城', '北京二手市場(chǎng)', '北京二手家電', '北京二手洗衣機(jī)'],
'look': '-',
'price': 1500,
'pub_date': '2016.01.14',
'time': 2,
'title': '【圖】洗衣機(jī)涮瞻，小冰箱，小冰柜储耐，冷飲機(jī) - 朝陽定福莊二手家電 - 北京58同城',
'url': 'http://bj.58.com/jiadian/24349380911041x.shtml'},
{'_id': ObjectId('5698f525a98063dbe7e91ca8'),
'area': ['朝陽', '望京'],
'cates': ['北京58同城', '北京二手市場(chǎng)', '北京二手臺(tái)式機(jī)/配件'],
'look': '-',
'price': 1500,
'pub_date': '2015.12.27',
'time': 3,
'title': '【圖】三星 A5 白色 沒有打開過 - 朝陽望京臺(tái)式機(jī)/配件 - 北京58同城',
'url': 'http://bj.58.com/diannao/24475337853109x.shtml'}]
In [4] :
# 定義生成日期列表函數(shù)
def date_gen(date1, date2):
# 起始日期
one_day = date(int(date1.split('.')[0]), int(date1.split('.')[1]), int(date1.split('.')[2]))
# 結(jié)束日期
end_day = date(int(date2.split('.')[0]), int(date2.split('.')[1]), int(date2.split('.')[2]))
# 日期增長(zhǎng)步伐
step = timedelta(days=1)
# 生成日期列表
while one_day <= end_day:
# 每次日期列表生成位置從上次結(jié)束位置開始
yield one_day.strftime('%Y.%m.%d')
# 日期增長(zhǎng)一天
one_day += step
# 輸出看下結(jié)果
[i for i in date_gen('2015.12.01', '2015.12.05')]
Out [4] :
['2015.12.01',
'2015.12.02',
'2015.12.03',
'2015.12.04',
'2015.12.05']
TOP3圖表
In [5] :
# 定義圖表數(shù)據(jù)生成函數(shù), 指定區(qū)域, 圖表類型, 起始日期, 結(jié)束日期
def area_count_gen(area, types, date1, date2):
# 管道模型, 帶入起止日期, 區(qū)域
pipeline = [
# 引用日期生成函數(shù)生成日期列表, 代入?yún)^(qū)域變量, 實(shí)現(xiàn)數(shù)據(jù)篩選
{'$match': {'$and': [{'pub_date': {'$in': [i for i in date_gen(date1, date2)]}}, {'area': area}]}},
# 以數(shù)據(jù)中區(qū)域字段的第3位來分組, 并統(tǒng)計(jì)數(shù)量
{'$group': {'_id': {'$slice': ['$cates', 2, 1]}, 'counts': {'$sum': 1}}},
# 降序排列
{'$sort': {'counts': -1}},
# 只顯示前3條, 即TOP3
{'$limit': 3},
]
# 定義類型列表
cate = []
# 定義數(shù)量列表
count = []
# 定義存放類型和數(shù)量的列表
cate_count = []
# 利用管道模型循環(huán)篩選出類型即數(shù)量
for i in item_info.aggregate(pipeline):
# 類型存入類型列表
cate.append(i['_id'][0])
# 類型存入數(shù)量列表
count.append(i['counts'])
# 生成數(shù)據(jù)字典
data = {
'name': area,
'type': types,
'data': count,
}
# 將類型列表存入要返回的列表中, 在圖表參數(shù)options中作引用
cate_count.append(cate)
# 將數(shù)據(jù)字典存入要返回的列表中, 作為圖表的數(shù)據(jù)
cate_count.append(data)
# 返回列表數(shù)據(jù)以作引用
return cate_count
# 輸出數(shù)據(jù)看下
print(area_count_gen('朝陽', 'column', '2015.12.01', '2015.12.30'))
[['北京二手服裝/鞋帽/箱包', '北京二手家電', '北京二手母嬰/兒童用品'], {'type': 'column', 'name': '朝陽', 'data': [800, 784, 583]}]
In [6] :
# 定義圖表參數(shù)
options = {
'chart': {'zoomType': 'xy'},
'title': {'text': '某段時(shí)間北京二手物品發(fā)帖量對(duì)比'},
'subtitle': {'text': '2015.12.01 ~ 2015.12.30該區(qū)域分類發(fā)帖量TOP3'},
# 分類引用圖表數(shù)據(jù)生成函數(shù)的返回列表中的第1位
'xAxis': {'categories': area_count_gen('豐臺(tái)', 'column', '2015.12.01', '2015.12.30')[0]},
'yAxis': {'title': {'text': '數(shù)量'}},
}
# 數(shù)據(jù)引用圖表數(shù)據(jù)生成函數(shù)的返回列表中的第2位, 這里指定區(qū)域的名字則生成相應(yīng)的數(shù)據(jù)
serises = area_count_gen('豐臺(tái)', 'column', '2015.12.01', '2015.12.30')[1]
# 生成圖表
charts.plot(serises, show='inline', options=options)
Out [6] :
Paste_Image.png
價(jià)格對(duì)比圖表
In [7] :
# 定義所有包含所有成色的列表
levels = ['全新', '99成新', '95成新', '9成新', '8成新', '7成新及以下']
In [8] :
# 定義價(jià)格圖表生成函數(shù), 傳入圖表類型, 成色列表, 起止日期
def price_gen(types, levels, date1, date2, cates):
# 定義價(jià)格列表
nums = []
# 循環(huán)獲取各成色物品的平均價(jià)格
for level in levels:
pipeline = [
# 引用日期生成函數(shù)生成列表, 傳入成色篩選數(shù)據(jù)
{'$match': {'$and': [{'pub_date': {'$in': [i for i in date_gen(date1, date2)]}}, {'look': level}, {'cates': {'$all': cates}}]}},
# 以成色分組, 統(tǒng)計(jì)總價(jià), 統(tǒng)計(jì)單一成色條目數(shù)
{'$group': {'_id': '$look', 'prices': {'$sum': '$price'}, 'counts': {'$sum': 1}}},
]
# 篩選出數(shù)據(jù)結(jié)果
data_all = [i for i in item_info.aggregate(pipeline)]
# 看下篩選出來的數(shù)據(jù)
print(data_all)
# 將平均價(jià)逐一添加至價(jià)格列表中
nums.append(data_all[0]['prices'] // data_all[0]['counts'])
# 生成數(shù)據(jù)字典
data = {
'name': '價(jià)格',
'type': types,
'data': nums,
}
# 返回?cái)?shù)據(jù)字典
return data
# 輸出看下結(jié)果
s = price_gen('line', levels, '2015.11.01', '2016.1.30', ['北京二手手機(jī)'])
print(s)
Out [8] :
[{'counts': 133, '_id': '全新', 'prices': 255698}]
[{'counts': 158, '_id': '99成新', 'prices': 265731}]
[{'counts': 210, '_id': '95成新', 'prices': 468619}]
[{'counts': 232, '_id': '9成新', 'prices': 248964}]
[{'counts': 117, '_id': '8成新', 'prices': 74176}]
[{'counts': 13, '_id': '7成新及以下', 'prices': 7260}]
{'type': 'line', 'name': '價(jià)格', 'data': [1922, 1681, 2231, 1073, 633, 558]}
In [9] :
# 生成圖表的參數(shù)
options = {
'chart': {'zoomType': 'xy'},
'title': {'text': '北京城區(qū)二手物品價(jià)格走勢(shì)圖'},
'subtitle': {'text': '2015.11.01 ~ 2016.1.30時(shí)間段內(nèi)各成色二手物品的平均價(jià)格'},
# X軸用成色分類
'xAxis': {'categories': levels},
'yAxis': {'title': {'text': '價(jià)格'}},
}
# 引用價(jià)格圖表函數(shù)生成圖表數(shù)據(jù)
serises = price_gen('line', levels, '2015.10.01', '2016.1.30', ['北京二手手機(jī)'])
# 輸出圖表
charts.plot(serises, show='inline', options=options)
Out [9] :
Paste_Image.png
4. 總結(jié)
- 圖表數(shù)據(jù)里的
data字段數(shù)量要和options里的數(shù)量相同
