# -*- coding: utf-8 -*-
# @Time : 2018/7/6 17:10
# @Author :
# @File :
# @Description :
import pandas as pd
import pymongo
pd.set_option('expand_frame', False)
MONGO_URI = 'mongodb://XXX:XXX'
MONGO_DB = 'LogData'
MONGO_TABLE = 'LogData'
client = pymongo.MongoClient(MONGO_URI)
db = client[MONGO_DB]
def get_data_from_queue(queueName):
data = pd.DataFrame(list(db[MONGO_TABLE].find({'queueName': queueName})))
return data
def select_data_from_queue(df, queueName, output_filename):
print('正在處理queue：', queueName)
ser = df['Contact_Alias'].notnull().value_counts()
print('Contact_Alias不為空的數(shù)據(jù)為：', ser.loc[True])
print('Contact_Alias為空的數(shù)據(jù)為：', ser.loc[False])
# Contact_Alias 不為空的情況
df_alias_not_null = df[df['Contact_Alias'].notnull()]
# Contact_Alias 為空腻菇， Contact_QuanPin 不以wxid開(kāi)頭的情況
df_alias_is_null = df[df['Contact_Alias'].isnull() & df['Contact_QuanPin'].notnull()]
condition = df_alias_is_null['Contact_QuanPin'].apply(lambda x: not x.startswith('wxid'))
df_auxiliary = df_alias_is_null[condition]
print('通過(guò)Contact_QuanPin新增數(shù)據(jù)：', len(df_auxiliary))
df_output = pd.concat([df_alias_not_null, df_auxiliary], axis=0)
df_output = df_output[['phone', 'Contact_Alias', 'Contact_QuanPin']]
df_output.reset_index(inplace=True, drop=True)
num = len(df_output)
print('最終輸出數(shù)據(jù)條數(shù)；', num)
print()
fill_values = df_output.loc[(df_output['Contact_Alias'].isnull()), 'Contact_QuanPin'].values
df_output.loc[(df_output['Contact_Alias'].isnull()), 'Contact_Alias'] = fill_values
# print(df_output)
df_output.to_csv('./data/' + output_filename + '_wechat_' + str(num) + '.txt', columns=['phone', 'Contact_Alias'],
header=None, index=False, sep='\t')
def run(queueName, output_filename):
df = get_data_from_queue(queueName)
select_data_from_queue(df, queueName, output_filename)
if __name__ == '__main__':
run('qbrq_1000', output_filename='XXXX')
PD操作
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
- 文/潘曉璐 我一進(jìn)店門倦蚪，熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)凰兑，“玉大人，你說(shuō)我怎么就攤上這事审丘±艄唬” “怎么了？”我有些...
- 文/不壞的土叔 我叫張陵，是天一觀的道長(zhǎng)锅知。 經(jīng)常有香客問(wèn)我播急，道長(zhǎng)，這世上最難降的妖魔是什么售睹？ 我笑而不...
- 正文 為了忘掉前任桩警，我火速辦了婚禮，結(jié)果婚禮上昌妹，老公的妹妹穿的比我還像新娘捶枢。我一直安慰自己，他們只是感情好飞崖，可當(dāng)我...
- 文/花漫 我一把揭開(kāi)白布烂叔。 她就那樣靜靜地躺著，像睡著了一般固歪。 火紅的嫁衣襯著肌膚如雪蒜鸡。 梳的紋絲不亂的頭發(fā)上，一...
- 那天牢裳，我揣著相機(jī)與錄音逢防，去河邊找鬼。 笑死蒲讯，一個(gè)胖子當(dāng)著我的面吹牛忘朝，可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播判帮，決...
- 文/蒼蘭香墨 我猛地睜開(kāi)眼局嘁，長(zhǎng)吁一口氣：“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼！你這毒婦竟也來(lái)了脊另？” 一聲冷哼從身側(cè)響起导狡，我...
- 序言：老撾萬(wàn)榮一對(duì)情侶失蹤约巷，失蹤者是張志新（化名）和其女友劉穎偎痛，沒(méi)想到半個(gè)月后，有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體独郎，經(jīng)...
- 正文 獨(dú)居荒郊野嶺守林人離奇死亡踩麦，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
- 正文 我和宋清朗相戀三年，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了氓癌。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片谓谦。...
- 正文 年R本政府宣布才顿，位于F島的核電站莫湘，受9級(jí)特大地震影響，放射性物質(zhì)發(fā)生泄漏郑气。R本人自食惡果不足惜幅垮，卻給世界環(huán)境...
- 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望尾组。 院中可真熱鬧忙芒，春花似錦、人聲如沸讳侨。這莊子的主人今日做“春日...
- 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)爷耀。三九已至甘桑，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間歹叮，已是汗流浹背跑杭。 一陣腳步聲響...
- 正文 我出身青樓，卻偏偏與公主長(zhǎng)得像萨螺，于是被迫代替她去往敵國(guó)和親窄做。 傳聞我的和親對(duì)象是個(gè)殘疾皇子，可洞房花燭夜當(dāng)晚...
推薦閱讀更多精彩內(nèi)容
- 腫瘤免疫療法方案是最新的抗癌治療，也是當(dāng)前腫瘤治療領(lǐng)域中最具前景的研究方向之一吻商，各大藥企紛紛尋求與其他公司合作研發(fā)...
- 正面管教的課程內(nèi)容都有什么？ 正面管教系統(tǒng)課程正是為解決家長(zhǎng)對(duì)孩子管教的各種挑戰(zhàn)而設(shè)柒爸。 真實(shí)事件的角色演繹准浴，感同身...
- 1、如圖葡公，在△ABC中谈撒，∠A=30°，∠B=45°匾南，AC=2根號(hào)3啃匿，求AB的長(zhǎng)． 2、已知：如圖蛆楞，△ABC中溯乒，AC...
- 周末就起折騰，昨天晚上好晚才睡覺(jué)豹爹。幾個(gè)朋友過(guò)來(lái)裆悄，然后去唱K了。到家里3點(diǎn)鐘臂聋。洗洗昨天晚上差不多4才睡覺(jué)...
