數(shù)據(jù)處理小工具:Excel 批量數(shù)據(jù)文件拆分/整合器...

需求分析:

現(xiàn)在有一大堆的Excel數(shù)據(jù)文件,需要根據(jù)每個Excel數(shù)據(jù)文件里面的Sheet批量將數(shù)據(jù)文件合并成為一個匯總后的Excel數(shù)據(jù)文件痰腮。或者是將一個匯總后的Excel數(shù)據(jù)文件按照Sheet拆分成很多個Excel數(shù)據(jù)文件症脂。根據(jù)上面的需求句占,我們先來進行UI界面的布局設(shè)計。

【閱讀全文】

完整源代碼請滑到文章最后獲取溪胶,感謝大家的支持搂擦!

導(dǎo)入UI界面設(shè)計相關(guān)的PyQt5模塊

from PyQt5.QtWidgets import *

from PyQt5.QtCore import *

from PyQt5.QtGui import *

應(yīng)用操作相關(guān)的模塊

import sys

import os

excel 數(shù)據(jù)處理模塊

import openpyxl as pxl

import pandas as pd

看一下 UI 界面的功能和布局,感覺還可以...

file

下面是布局相關(guān)的代碼塊實例

    def init_ui(self):
        self.setWindowTitle('Excel數(shù)據(jù)匯總/拆分器  公眾號:[Python 集中營]')
        self.setWindowIcon(QIcon('數(shù)據(jù).ico'))

        self.brower = QTextBrowser()
        self.brower.setReadOnly(True)
        self.brower.setFont(QFont('宋體', 8))
        self.brower.setPlaceholderText('批量數(shù)據(jù)處理進度顯示區(qū)域...')
        self.brower.ensureCursorVisible()

        self.excels = QLineEdit()
        self.excels.setReadOnly(True)

        self.excels_btn = QPushButton()
        self.excels_btn.setText('加載批文件')
        self.excels_btn.clicked.connect(self.excels_btn_click)

        self.oprate_type = QLabel()
        self.oprate_type.setText('操作類型')

        self.oprate_combox = QComboBox()
        self.oprate_combox.addItems(['數(shù)據(jù)合并', '數(shù)據(jù)拆分'])

        self.data_type = QLabel()
        self.data_type.setText('合并/拆分')

        self.data_combox = QComboBox()
        self.data_combox.addItems(['按照Sheet拆分'])

        self.new_file_path = QLineEdit()
        self.new_file_path.setReadOnly(True)

        self.new_file_path_btn = QPushButton()
        self.new_file_path_btn.setText('新文件路徑')
        self.new_file_path_btn.clicked.connect(self.new_file_path_btn_click)

        self.thread_ = DataThread(self)
        self.thread_.trigger.connect(self.update_log)
        self.thread_.finished.connect(self.finished)

        self.start_btn = QPushButton()
        self.start_btn.setText('開始數(shù)據(jù)匯總/拆分')
        self.start_btn.clicked.connect(self.start_btn_click)

        form = QFormLayout()
        form.addRow(self.excels, self.excels_btn)
        form.addRow(self.oprate_type, self.oprate_combox)
        form.addRow(self.data_type, self.data_combox)
        form.addRow(self.new_file_path, self.new_file_path_btn)

        vbox = QVBoxLayout()
        vbox.addLayout(form)
        vbox.addWidget(self.start_btn)

        hbox = QHBoxLayout()
        hbox.addWidget(self.brower)
        hbox.addLayout(vbox)

        self.setLayout(hbox)

槽函數(shù) update_log载荔,將運行過程通過文本瀏覽器的方式實時展示盾饮,方便查看程序的運行采桃。

  def update_log(self, text):
        cursor = self.brower.textCursor()
        cursor.movePosition(QTextCursor.End)
        self.brower.append(text)
        self.brower.setTextCursor(cursor)
        self.brower.ensureCursorVisible()

槽函數(shù) excels_btn_click懒熙,綁定到文件加載按鈕丘损,處理源文件的加載過程。

 def excels_btn_click(self):
        paths = QFileDialog.getOpenFileNames(self, '選擇文件', os.getcwd(), 'Excel File(*.xlsx)')
        files = paths[0]
        path_strs = ''
        for file in files:
            path_strs = path_strs + file + ';'
        self.excels.setText(path_strs)
        self.update_log('已經(jīng)完成批文件路徑加載工扎!')

槽函數(shù) new_file_path_btn_click徘钥,選擇新文件要保存的路徑。

 def new_file_path_btn_click(self):
        directory = QFileDialog.getExistingDirectory(self, '選擇文件夾', os.getcwd())
        self.new_file_path.setText(directory)

槽函數(shù) start_btn_click肢娘,綁定到開始按鈕上呈础,使用開始按鈕啟動子線程工作。

    def start_btn_click(self):
        self.start_btn.setEnabled(False)
        self.thread_.start()

函數(shù) finished橱健,這個函數(shù)是用來接收子線程傳過來的運行完成的信號而钞,通過判斷使子線程執(zhí)行完成時讓開始按鈕處于可以點擊的狀態(tài)。

 def finished(self, finished):
        if finished is True:
            self.start_btn.setEnabled(True)

下面是最重要的邏輯處理部分拘荡,將所有的邏輯處理相關(guān)的部分全部放到子線程中去執(zhí)行臼节。

class DataThread(QThread):
    trigger = pyqtSignal(str)
    finished = pyqtSignal(bool)

    def __init__(self, parent=None):
        super(DataThread, self).__init__(parent)
        self.parent = parent
        self.working = True

    def __del__(self):
        self.working = False
        self.wait()

    def run(self):
        self.trigger.emit('啟動批量處理子線程...')
        oprate_type = self.parent.oprate_combox.currentText().strip()
        data_type = self.parent.data_combox.currentText().strip()
        files = self.parent.excels.text().strip()
        new_file_path = self.parent.new_file_path.text()
        if data_type == '按照Sheet拆分' and oprate_type == '數(shù)據(jù)合并':
            self.merge_data(files=files, new_file_path=new_file_path)
        elif data_type == '按照Sheet拆分' and oprate_type == '數(shù)據(jù)拆分':
            self.split_data(files=files, new_file_path=new_file_path)
        else:
            pass
        self.trigger.emit('數(shù)據(jù)處理完成...')
        self.finished.emit(True)

    def merge_data(self, files, new_file_path):
        num = 1
        new_file = new_file_path + '/數(shù)據(jù)匯總.xlsx'
        writer = pd.ExcelWriter(new_file)
        for file in files.split(';'):
            if file.strip() != '':
                web_sheet = pxl.load_workbook(file)
                sheets = web_sheet.sheetnames
                for sheet in sheets:
                    sheet_name = sheet.title()
                    self.trigger.emit('準(zhǔn)備處理工作表名稱:' + str(sheet.title()))
                    data_frame = pd.read_excel(file, sheet_name=sheet_name)
                    sheet_name = sheet_name + 'TO數(shù)據(jù)合并' + str(num)
                    data_frame.to_excel(writer, sheet_name, index=False)
                    num = num + 1
            else:
                self.trigger.emit('當(dāng)前路徑為空,繼續(xù)...')
        writer.save()
        writer.close()

    def split_data(self, files, new_file_path):
        num = 1
        for file in files.split(';'):
            if file.strip() != '':
                web_sheet = pxl.load_workbook(file)
                sheets = web_sheet.sheetnames
                for sheet in sheets:
                    sheet_name = sheet.title()
                    self.trigger.emit('準(zhǔn)備處理工作表名稱:' + str(sheet.title()))
                    data_frame = pd.read_excel(file, sheet_name=sheet_name)
                    writer = pd.ExcelWriter(new_file_path + '/數(shù)據(jù)拆分' + str(num) + '.xlsx')
                    data_frame.to_excel(writer, '數(shù)據(jù)拆分', index=False)
                    writer.save()
                    writer.close()
                    num = num + 1
            else:
                self.trigger.emit('當(dāng)前路徑為空珊皿,繼續(xù)...')

上面就是主要的代碼塊實現(xiàn)過程网缝,有需要的可以參考一下。歡迎大佬在評論區(qū)進行留言蟋定。

搞了一個程序運行效果圖粉臊,看一下執(zhí)行效果。

file

公眾號內(nèi)回復(fù) "Excel批量數(shù)據(jù)文件拆分與合并"驶兜,獲取完整源代碼扼仲,直接運行即可。

【往期精選】

辦公自動化:PDF文件合并器抄淑,將多個PDF文件進行合并...

GUI猜數(shù)字游戲犀盟,直接開玩...

手把手教你做一個數(shù)據(jù)圖表生成器(附源碼)...

動態(tài)指針時鐘:利用pyqt5制作指針鐘表顯示實時時間

python 日志中最亮的仔,是喜歡的花里胡哨吖...

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末蝇狼,一起剝皮案震驚了整個濱河市阅畴,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌迅耘,老刑警劉巖贱枣,帶你破解...
    沈念sama閱讀 206,839評論 6 482
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件颤专,死亡現(xiàn)場離奇詭異,居然都是意外死亡栖秕,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,543評論 2 382
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來只壳,“玉大人俏拱,你說我怎么就攤上這事吼句」兀” “怎么了惕艳?”我有些...
    開封第一講書人閱讀 153,116評論 0 344
  • 文/不壞的土叔 我叫張陵搞隐,是天一觀的道長。 經(jīng)常有香客問我远搪,道長劣纲,這世上最難降的妖魔是什么谁鳍? 我笑而不...
    開封第一講書人閱讀 55,371評論 1 279
  • 正文 為了忘掉前任,我火速辦了婚禮余佛,結(jié)果婚禮上窍荧,老公的妹妹穿的比我還像新娘。我一直安慰自己蕊退,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 64,384評論 5 374
  • 文/花漫 我一把揭開白布净蚤。 她就那樣靜靜地躺著输硝,像睡著了一般今瀑。 火紅的嫁衣襯著肌膚如雪点把。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,111評論 1 285
  • 那天哥童,我揣著相機與錄音褒翰,去河邊找鬼匀泊。 笑死朵你,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的撬呢。 我是一名探鬼主播妆兑,決...
    沈念sama閱讀 38,416評論 3 400
  • 文/蒼蘭香墨 我猛地睜開眼搁嗓,長吁一口氣:“原來是場噩夢啊……” “哼芯勘!你這毒婦竟也來了腺逛?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,053評論 0 259
  • 序言:老撾萬榮一對情侶失蹤安疗,失蹤者是張志新(化名)和其女友劉穎够委,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體玉罐,經(jīng)...
    沈念sama閱讀 43,558評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡潘拨,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,007評論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了季蚂。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片琅束。...
    茶點故事閱讀 38,117評論 1 334
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖疯搅,靈堂內(nèi)的尸體忽然破棺而出埋泵,到底是詐尸還是另有隱情幔欧,我是刑警寧澤,帶...
    沈念sama閱讀 33,756評論 4 324
  • 正文 年R本政府宣布觉义,位于F島的核電站浴井,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏磺浙。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,324評論 3 307
  • 文/蒙蒙 一瘤缩、第九天 我趴在偏房一處隱蔽的房頂上張望伦泥。 院中可真熱鬧,春花似錦不脯、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,315評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至肖揣,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間羊异,已是汗流浹背彤断。 一陣腳步聲響...
    開封第一講書人閱讀 31,539評論 1 262
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留平道,地道東北人。 一個月前我還...
    沈念sama閱讀 45,578評論 2 355
  • 正文 我出身青樓一屋,卻偏偏與公主長得像,于是被迫代替她去往敵國和親冀墨。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 42,877評論 2 345

推薦閱讀更多精彩內(nèi)容