前面寫過用python的pandas模塊處理csv表，得到想要的統計結果并用excel不同sheet進行展示佛致。當時處理的CSV是每日的信息表段只，為了有個縱向的比較咬崔，我想把所有信息表（例如整個周或者整月）匯總起來，然后得到每周或者每月的一個統計信息胆胰。那第一步我們就將所有的信息表都寫入數據庫吧狞贱，后期只要按照日期列就可以取出不同時間斷的所有信息了。思路如下：
- 創(chuàng)建數據庫蜀涨；
- 創(chuàng)建數據表瞎嬉；
- 處理每個文件的文件名得到時間參數，這個參數后面會寫入數據表厚柳；
- 向數據表中逐條插入數據氧枣；
- 提交命令并關閉
因為當前路徑下有很多個csv文件，所以我們定義了一個get_all_csv_name函數别垮，該函數主要作用就是提取當前路徑下的所有csv文件便监。當然下次執(zhí)行時，我們肯定不想重復寫入數據到數據庫宰闰，所以我們又定義了一個wjj.txt文件用于存放所有已經寫入數據庫的csv文件名茬贵。如下圖：
無標題2.png
# -*- encoding=UTF-8 -*-
__author__ = 'wjj1982'
__date__ = '2019/8/24 12:02'
__product__ = 'PyCharm'
__filename__ = '每日當前告警寫入數據庫'
import sqlite3
import os
import pandas as pd
# 讀txt文件簿透，這個txt里面存的上次寫入數據庫的所有文件名
def read_txt(filename):
if os.path.exists(filename):
rf = open(filename, 'r')
rf_content = rf.read()
rf.close()
return rf_content
else:
return []
# 程序運行的最后把本次寫入數據庫的所有csv文件名 寫入txt文件移袍，防止下次重復寫入
def write_txt(filename, filename_list):
wf = open(filename, 'a')
for i in filename_list:
wf.write(i + '\n')
wf.close()
# 用os.walk模塊獲取當前路徑下所有csv文件名，為了后續(xù)的逐個csv文件處理做準備老充。
def get_all_csv_name(path, filename_txt):
rf_content = read_txt(filename_txt)
filename_list = []
for folderName, subfolders, filenames in os.walk(path):
for file_name in filenames:
if '.csv' in file_name and file_name not in rf_content:
filename_list.append(file_name)
return filename_list
# 定義數據表
def FM_table(conn):
conn.execute("""CREATE TABLE IF NOT EXISTS FMTable (
'告警日期' TEXT NOT NULL,
'網元北向標識' TEXT,
'網元' TEXT,
'告警碼名稱' TEXT,
'發(fā)生時間' TEXT,
'告警原因' TEXT,
'位置' TEXT)""")
conn.commit()
def handle_filename_get_date(filename):
# 提取年月日有兩種寫法葡盗，第一種用for循環(huán)，第二種用匿名函數
# 方法1：
# ymd_list = []
# for i in range(3):
# ymd_list.append(filename.split('_')[2].split('-')[i])
# 方法2：
ymd_list = [filename.split('_')[2].split('-')[i] for i in range(3)]
return '-'.join(ymd_list)
def read_csv_rb(filename):
# 直接read_csv讀取會報錯啡浊，所以就增加了一步open來規(guī)避觅够，注意：open后面一定要跟一個close
filename = open(filename, 'rb')
pd_csv = pd.read_csv(filename)
filename.close()
return pd_csv
def main():
"""1.定義數據庫和數據表；2.處理文件名得到時間參數巷嚣；3.讀取當前告警csv表喘先；4.逐條寫入數據庫"""
# 定義變量
path = 'E:\python\python-code\數據庫操作\每日當前告警寫入數據庫'
txt_name = 'wjj.txt'
filename_list = get_all_csv_name(path, txt_name)
db_name = 'current_FM_chengdian.db'
# 1.(1)連接數據庫，如果不存在會新建該數據庫
conn = sqlite3.connect(db_name)
# 1.(2)調用建表函數廷粒，新建FM表
FM_table(conn)
for filename in filename_list:
# 2.處理文件名得到時間參數
FM_table_date = handle_filename_get_date(filename)
# 3.讀取當前告警csv表
pd_csv = read_csv_rb(filename)
# 4.逐條寫入數據庫
for index in range(pd_csv.shape[0]):
if '網元北向標志' in pd_csv.columns:
me_id = pd_csv.iloc[index]['網元北向標志']
else:
me_id = pd_csv.iloc[index]['網元北向標識']
# 所有數據具備有窘拯，統一添加當前告警表
conn.execute(
"INSERT INTO FMTable(告警日期,網元北向標識,網元,告警碼名稱,發(fā)生時間,告警原因,位置) VALUES(?,?,?,?,?,?,?)",
(FM_table_date, me_id, pd_csv.iloc[index]['網元'], pd_csv.iloc[index]['告警碼名稱'],
pd_csv.iloc[index]['發(fā)生時間'], pd_csv.iloc[index]['告警原因'], pd_csv.iloc[index]['位置']))
print("insert {} to {} successfully!".format(filename, db_name))
# 最后提交插入命令，然后關閉數據庫
conn.commit()
conn.close()
write_txt(txt_name, filename_list)
if __name__ == '__main__':
main()
最終執(zhí)行結果如下：
無標題.png
查看數據庫結果如下（信息安全的原因坝茎，我把涉及客戶的信息擦掉了哈）：
無標題3.png
