【Node.js】寫(xiě)一個(gè)數(shù)據(jù)自動(dòng)整理成表格的腳本

前言

企業(yè)項(xiàng)目進(jìn)行數(shù)據(jù)埋點(diǎn)后茎匠,埋點(diǎn)事件名需要整理成Excel表格便于統(tǒng)計(jì)究驴,目標(biāo)是將下圖左側(cè)數(shù)據(jù)轉(zhuǎn)化成下圖右側(cè)的Excel表格:


考慮到左側(cè)埋點(diǎn)數(shù)據(jù)是隨項(xiàng)目迭代增加的祭芦,埋點(diǎn)數(shù)據(jù)每增加一次我就要把數(shù)據(jù)一條一條的Ctrl+C/V復(fù)制粘貼至Excel表格內(nèi)失乾。

懶通惫,不想這樣玩翎苫,于是我寫(xiě)了一個(gè)自動(dòng)幫我整理成表格的腳本旺聚。

腳本實(shí)現(xiàn)

實(shí)現(xiàn)流程

  • Node.js生成Excel表格工具庫(kù)技術(shù)選型
  • 單獨(dú)復(fù)制一份埋點(diǎn)數(shù)據(jù)出來(lái)沈贝,保證它的變動(dòng)不會(huì)影響業(yè)務(wù)相關(guān)埋點(diǎn)邏輯
  • 整理埋點(diǎn)數(shù)據(jù)成我們需要的數(shù)據(jù)結(jié)構(gòu)

分成三步走

技術(shù)選型

Node.js操作Excel表格工具庫(kù)有:

僅羅列以上四個(gè)。

選擇的角度有以下幾點(diǎn):

  • 學(xué)習(xí)成本低踩晶,文檔API簡(jiǎn)單易用执泰,僅生成表格即可,其他功能并不需要合瓢,所以API越簡(jiǎn)單越好
  • 生成Excel表格需要提供的數(shù)據(jù)結(jié)構(gòu)簡(jiǎn)單坦胶,便于實(shí)現(xiàn)
  • 能導(dǎo)出xlsx表格,滿足最基本要求

node-xlsx最貼近以上要求晴楔,首選使用它顿苇。

node-xlsx官方生成Excel表格給出的代碼塊:

import xlsx from 'node-xlsx';
// Or var xlsx = require('node-xlsx').default;

const data = [
  [1, 2, 3],
  [true, false, null, 'sheetjs'],
  ['foo', 'bar', new Date('2014-02-19T14:30Z'), '0.3'],
  ['baz', null, 'qux'],
];
var buffer = xlsx.build([{name: 'mySheetName', data: data}]); // Returns a buffer

生成表格數(shù)據(jù)data是二維數(shù)組,對(duì)應(yīng)表格的行列税弃。data.length 為表格行數(shù)纪岁,data[0].length 為表格的列數(shù);data[0][0]對(duì)應(yīng)至表格的第一行第一列的值则果,data[0][1]對(duì)應(yīng)至表格的第一行第二列的值幔翰。

所以將埋點(diǎn)數(shù)據(jù)整理為一個(gè)二維數(shù)組即可,二維數(shù)組數(shù)據(jù)結(jié)構(gòu)整理容易實(shí)現(xiàn)西壮。

復(fù)制埋點(diǎn)數(shù)據(jù)

埋點(diǎn)數(shù)據(jù)統(tǒng)一放置在buryData.js 文件遗增,但不能隨意改動(dòng)它,所以將該文件單獨(dú)再?gòu)?fù)制一份出來(lái)款青。

buryData.js

export default {
    version1: 'v1.5.3',
    bury1: 'ding提醒',
    bury2: '審批-篩選',
    bury3: '任務(wù)-點(diǎn)擊任務(wù)標(biāo)題打開(kāi)任務(wù)詳情',
    bury4: '任務(wù)詳情彈框-點(diǎn)擊詳情tab',
    bury5: '任務(wù)詳情彈框-點(diǎn)擊日志記錄tab',
    bury6: '任務(wù)詳情彈框-點(diǎn)擊工作總結(jié)tab',
    bury7: '任務(wù)詳情彈框-點(diǎn)擊動(dòng)態(tài)tab',
    //...
}

buryData.js復(fù)制出來(lái)文件命名為bury.js做修,還有一個(gè)問(wèn)題:bury.js需要執(zhí)行它,拿到它導(dǎo)出的數(shù)據(jù)對(duì)象,導(dǎo)出數(shù)據(jù)是使用ES6模塊化語(yǔ)法饰及,這邊需要將ES6模塊化轉(zhuǎn)化成CommonJs模塊化蔗坯,將export default {} 替換成module.exports ={}即可做到。

Node.js fs模塊+正則替換是可以達(dá)成以上目的燎含,但為了更快捷宾濒,我選擇使用工具庫(kù)magic-string

magic-string它是操作字符串庫(kù),它可以幫我去掉寫(xiě)正則替換字符串的步驟屏箍。

const path = require('path');
const magicString = require('magic-string')
const fs = require('fs');

//buryData.js 文件路徑
const buryFile = path.join(__dirname, '../src/lib/buryData.js')

const getBuryContent = (filePath) => {
    const content = fs.readFileSync(filePath, 'utf8')
    //將export default 替換成module.exports =
    const s = new magicString(content)
    s.replace('export default', 'module.exports = ')
    return s.toString()
}

(async () => {
    const str = getBuryContent(buryFile)
    //將替換后的內(nèi)容寫(xiě)入至bury.js文件
    const copyFilePath = path.join(__dirname, '/bury.js')
    fs.writeFileSync(copyFilePath, str)
    //動(dòng)態(tài)導(dǎo)入bury.js 獲取埋點(diǎn)數(shù)據(jù)
    const { default: data } = await import(copyFilePath)
})()

生成二維數(shù)組

上文已提及绘梦,node-xlsx生成表格需要先將數(shù)據(jù)整理成二維數(shù)組。

export default {
    version1: 'v1.5.3',
    bury1: 'ding提醒',
    /...
    version2: 'v1.5.4',
    bury21: '通訊錄人員列表',
    //..
}

以上數(shù)據(jù)整理成:

[
  ['v1.5.3','v1.5.4'],
  ['ding提醒','通訊錄人員列表'],
  //...
]

首先铣除,將數(shù)據(jù)全部存放至一個(gè)Map對(duì)象中谚咬。因?yàn)槁顸c(diǎn)數(shù)據(jù)是一個(gè)對(duì)象鹦付,其中version1尚粘、version2 表示版本號(hào),隨項(xiàng)目迭代版本號(hào)會(huì)增多version3敲长、version4……以version進(jìn)行劃分Map 值郎嫁。

const _ = require('lodash');
//...

const getFormatDataMap = (data) => {
    let version
    const map = new Map();
    _.forIn(data, (value, key) => {
        if (key.includes('version')) {
            version = value
            !map.has(version) && map.set(version, [value])
            return
        }
        const mapValue = map.get(version)
        mapValue.push(value)
    })
    return map
}

(async () => {
    const str = getBuryContent(buryFile)
    const copyFilePath = path.join(__dirname, '/bury.js')
    fs.writeFileSync(copyFilePath, str)
    const { default: data } = await import(copyFilePath)
    
    //新增
    const map = getFormatDataMap(data)
})()

getFormatDataMap 函數(shù)執(zhí)行后,返回的數(shù)據(jù)是:

{
'v1.5.3'=>['v1.5.3','ding提醒' //...]
'v1.5.4'=>['v1.5.4','通訊錄人員列表' //...]
}


然后祈噪,需要知道表格最大行數(shù)泽铛,表格列數(shù)即為map.size(),最大行數(shù)通過(guò)獲取Map.values()獲取所有的值values辑鲤,遍歷values獲取values內(nèi)存放的每一個(gè)數(shù)組的長(zhǎng)度盔腔,長(zhǎng)度統(tǒng)一用另一個(gè)數(shù)組lens臨時(shí)記錄,遍歷結(jié)束后比較lens中的數(shù)值得到最大的值月褥,

MAX_LEN 即為表格最大的行數(shù)弛随,也是values存放的所有數(shù)組中長(zhǎng)度最大的值。

const _ = require('lodash');
//...
const getMergeArr = (map) => {
    const values = _.toArray(map.values())
    const lens = []
    //獲取長(zhǎng)度宁赤,長(zhǎng)度值統(tǒng)一存放至lens數(shù)組中
    values.forEach((value) => { lens.push(value.length) })
    //比較
    const MAX_LEN = _.max(lens)
    
    return getTargetItems({ mapValue: values, forNum: MAX_LEN })
}

(async () => {
    const str = getBuryContent(buryFile)
    const copyFilePath = path.join(__dirname, '/bury.js')
    fs.writeFileSync(copyFilePath, str)
    const { default: data } = await import(copyFilePath)
    const map = getFormatDataMap(data)
    //新增
    const table = getMergeArr(map)
})()

最后舀透,以valuesMAX_LEN進(jìn)行雙循環(huán)决左。表格列數(shù)map.size()可獲取愕够,但為了方便直接mapValue.length,兩者是相等的。

有了表格列數(shù)即可創(chuàng)建二維數(shù)組的第二層數(shù)組佛猛,new Array(len).fill(' ')第二層數(shù)組長(zhǎng)度即為mapValue.length惑芭,創(chuàng)建時(shí)數(shù)組內(nèi)的值先統(tǒng)一填充為' '

const getTargetItems = ({ mapValue, forNum }) => {
    const len = mapValue.length
    const targetItems = []
    mapValue.forEach((v, i) => {
        for (let index = 0; index < forNum; index++) {
            const element = v[index];
            let targetItem = targetItems[index]
            if (!targetItem) {
            //創(chuàng)建數(shù)組继找,值先統(tǒng)一填充為' '
                targetItem = new Array(len).fill(' ')
            }
            /**
            如果當(dāng)前index大于數(shù)組v的長(zhǎng)度遂跟,這時(shí)獲取值v[index]為undefined。
            為undefined的話直接跳過(guò),保持targetItem[i]為' '
            */
            targetItem[i] = element ? element : ' '
            targetItems[index] = targetItem
        }
    })
    return targetItems
}

完成二維數(shù)組的轉(zhuǎn)化漩勤,數(shù)據(jù)結(jié)構(gòu)為下圖:


生成表格

數(shù)據(jù)已完成感挥,留下的就是寫(xiě)入數(shù)據(jù)生成表格,直接復(fù)制node-xlsx演示的代碼下來(lái)越败。

//...

(async () => {
    const str = getBuryContent(buryFile)
    const copyFilePath = path.join(__dirname, '/bury.js')
    fs.writeFileSync(copyFilePath, str)
    const { default: data } = await import(copyFilePath)
    const map = getFormatDataMap(data)
    const table = getMergeArr(map)

    //寫(xiě)入數(shù)據(jù)触幼,生成表格,返回buffer數(shù)據(jù)
    const buffer = xlsx.build([{ name: '埋點(diǎn)', data: table }])
    
    const outPath = path.join(__dirname, '/bury.xlsx')
    
    //bury.js文件可以刪除究飞,bury.xlsx如果已存在就先刪了
    fs.existsSync(outPath) && fs.unlinkSync(outPath)
    fs.existsSync(copyFilePath) && fs.unlinkSync(copyFilePath)
    
    //創(chuàng)建一個(gè)bury.xlsx文件置谦,將得到的buffer寫(xiě)入
    fs.writeFileSync(outPath, buffer)
})()

腳本完。

完整源碼:

const path = require('path');
const fs = require('fs');
const xlsx = require('node-xlsx');
const magicString = require('magic-string')
const _ = require('lodash');
const buryFile = path.join(__dirname, '../src/lib/buryData.js')
const getBuryContent = (filePath) => {
    const content = fs.readFileSync(filePath, 'utf8')
    const s = new magicString(content)
    s.replace('export default', 'module.exports = ')
    return s.toString()
}
const getFormatDataMap = (data) => {
    let version
    const map = new Map();
    _.forIn(data, (value, key) => {
        if (key.includes('version')) {
            version = value
            !map.has(version) && map.set(version, [value])
            return
        }
        const mapValue = map.get(version)
        mapValue.push(value)
    })
    return map
}
const getTargetItems = ({ mapValue, forNum }) => {
    const len = mapValue.length
    const targetItems = []
    mapValue.forEach((v, i) => {
        for (let index = 0; index < forNum; index++) {
            const element = v[index];
            let targetItem = targetItems[index]
            if (!targetItem) {
                targetItem = new Array(len).fill(' ')
            }
            targetItem[i] = element ? element : ' '
            targetItems[index] = targetItem
        }
    })
    return targetItems
}
const getMergeArr = (map) => {
    const values = _.toArray(map.values())
    const lens = []
    values.forEach((value) => { lens.push(value.length) })
    const MAX_LEN = _.max(lens)
    return getTargetItems({ mapValue: values, forNum: MAX_LEN })
}
(async () => {
    const str = getBuryContent(buryFile)
    const copyFilePath = path.join(__dirname, '/bury.js')
    fs.writeFileSync(copyFilePath, str)
    const { default: data } = await import(copyFilePath)
    const map = getFormatDataMap(data)
    const table = getMergeArr(map)
    debugger
    const buffer = xlsx.build([{ name: '埋點(diǎn)', data: table }])
    const outPath = path.join(__dirname, '/bury.xlsx')
    fs.existsSync(outPath) && fs.unlinkSync(outPath)
    fs.existsSync(copyFilePath) && fs.unlinkSync(copyFilePath)
    fs.writeFileSync(outPath, buffer)
})()

去掉空行亿傅,一百行以內(nèi)媒峡。

總結(jié)

Node.js可使用的場(chǎng)景非賞多,不單單是用于服務(wù)器接口的開(kāi)發(fā)葵擎,我們還能通過(guò)寫(xiě)腳本的形式解決生活中重復(fù)性的工作谅阿,憑藉js的語(yǔ)法簡(jiǎn)單及強(qiáng)大的生態(tài),前端不必學(xué)習(xí)shell酬滤、python等签餐,僅使用js就可以搞定爬蟲(chóng)、自動(dòng)化腳本等場(chǎng)景盯串。

如果我的文章對(duì)你有幫助氯檐,你的??就是對(duì)我的最大支持_

本文由mdnice多平臺(tái)發(fā)布

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末体捏,一起剝皮案震驚了整個(gè)濱河市冠摄,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌几缭,老刑警劉巖河泳,帶你破解...
    沈念sama閱讀 222,590評(píng)論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異奏司,居然都是意外死亡乔询,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,157評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門(mén)韵洋,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)竿刁,“玉大人,你說(shuō)我怎么就攤上這事搪缨∈嘲荩” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 169,301評(píng)論 0 362
  • 文/不壞的土叔 我叫張陵副编,是天一觀的道長(zhǎng)负甸。 經(jīng)常有香客問(wèn)我,道長(zhǎng),這世上最難降的妖魔是什么呻待? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 60,078評(píng)論 1 300
  • 正文 為了忘掉前任打月,我火速辦了婚禮,結(jié)果婚禮上蚕捉,老公的妹妹穿的比我還像新娘奏篙。我一直安慰自己,他們只是感情好迫淹,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,082評(píng)論 6 398
  • 文/花漫 我一把揭開(kāi)白布秘通。 她就那樣靜靜地躺著,像睡著了一般敛熬。 火紅的嫁衣襯著肌膚如雪肺稀。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 52,682評(píng)論 1 312
  • 那天应民,我揣著相機(jī)與錄音话原,去河邊找鬼。 笑死瑞妇,一個(gè)胖子當(dāng)著我的面吹牛稿静,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播辕狰,決...
    沈念sama閱讀 41,155評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼控漠!你這毒婦竟也來(lái)了蔓倍?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 40,098評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤盐捷,失蹤者是張志新(化名)和其女友劉穎偶翅,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體碉渡,經(jīng)...
    沈念sama閱讀 46,638評(píng)論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡聚谁,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,701評(píng)論 3 342
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了滞诺。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片形导。...
    茶點(diǎn)故事閱讀 40,852評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖习霹,靈堂內(nèi)的尸體忽然破棺而出朵耕,到底是詐尸還是另有隱情,我是刑警寧澤淋叶,帶...
    沈念sama閱讀 36,520評(píng)論 5 351
  • 正文 年R本政府宣布阎曹,位于F島的核電站,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏处嫌。R本人自食惡果不足惜栅贴,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,181評(píng)論 3 335
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望熏迹。 院中可真熱鬧筹误,春花似錦、人聲如沸癣缅。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,674評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)友存。三九已至祷膳,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間屡立,已是汗流浹背直晨。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,788評(píng)論 1 274
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留膨俐,地道東北人勇皇。 一個(gè)月前我還...
    沈念sama閱讀 49,279評(píng)論 3 379
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像焚刺,于是被迫代替她去往敵國(guó)和親敛摘。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,851評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容