99%的人都不知道的PowerQuery秘技

前言

解決問題:合并文件夾中的csv文件

問題難點:csv文件不規(guī)則良狈,在有效數(shù)據(jù)前有部分冗余數(shù)據(jù)矾兜,無法直接使用Power Query的按鈕控件完成

使用工具:Excel

故事概要

話說一代大俠李逍遙迫于生計,創(chuàng)建了個人博客迁酸,但是常年疏于管理。近日仔細研讀《增長黑客》一書后,決定統(tǒng)計下相關數(shù)據(jù)钟鸵,以求更大的發(fā)展,于是從微博后臺下載了相關數(shù)據(jù)涤躲。

后臺下載的數(shù)據(jù)表

觀察數(shù)據(jù)表后棺耍,瞬間產(chǎn)生了2個需求:

  1. 去除每張表格的前5行
需求1
  1. 下載到一個文件夾中的所有的數(shù)據(jù)進行合并
需求2

但是如何將同時完成這兩個需求,得到一份統(tǒng)計表种樱,李逍遙陷入了深深的沉思蒙袍。

解題思路

Excel自帶的Power Query可謂是強大的ETL工具,若能完全掌握其M語言嫩挤,這個問題也是小菜一碟害幅。奈何掌握一門語言談何容易,那么今天筆者也就硬著頭皮試上一試岂昭。仔細觀察需求以现,不難發(fā)現(xiàn)兩個需求單獨實現(xiàn)并不難,都是可視化控件可以搞定的约啊,所以我們可以嘗試做一個函數(shù)邑遏,用于讀取表格,并刪除不需要前5行棍苹,然后在合并文件夾中的文件時討論无宿。具體請聽我娓娓道來。

將單CSV作為樣例枢里,并清理

這里的操作很簡單孽鸡,此處就不多做贅述蹂午,全過程共分兩部:

  1. 導入數(shù)據(jù)
導入CSV
  1. 使用控件,刪除前5行彬碱,并將第一行提升為標題
清理數(shù)據(jù)

將清理過程封裝成函數(shù)

大家都知道豆胸,所謂函數(shù),就必須要傳參巷疼,所以我們需要創(chuàng)建一個參數(shù)晚胡。由于M語言中函數(shù)Csv.Document的第一個參數(shù)需要一個二進制文件,所以此處創(chuàng)建的參數(shù)是一個二進制參數(shù)嚼沿。

創(chuàng)建參數(shù)

之后在原有的CSV文件導入過程中引用這個參數(shù)估盘。引用后會報錯,請別急骡尽,這是正常的遣妥。

引用參數(shù)

之后就可以直接創(chuàng)建函數(shù)啦。

創(chuàng)建函數(shù)

將文件夾中的所有文件套用函數(shù)

至此攀细,我們已經(jīng)成功了一半了箫踩,后面就是灑灑水啦~

我們先將下載下的文件放入一個文件夾,然后在Power Query創(chuàng)建一個文件夾的查詢谭贪。

導入文件夾

之后增加一個自定義列境钟,使用剛才創(chuàng)建的函數(shù)即可。

使用函數(shù)

最后僅需刪除其他列后俭识,展開自定義列即完成了所有操作慨削。

展開自定義列

總結(jié)

至此,李逍遙終于完成了合并數(shù)據(jù)鱼的,但是后期如何分析呢理盆,這又是一個難題。但是他已經(jīng)會了一個99%的人都不知道的Power Query秘技了凑阶。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市衷快,隨后出現(xiàn)的幾起案子宙橱,更是在濱河造成了極大的恐慌,老刑警劉巖蘸拔,帶你破解...
    沈念sama閱讀 206,214評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件师郑,死亡現(xiàn)場離奇詭異,居然都是意外死亡调窍,警方通過查閱死者的電腦和手機宝冕,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,307評論 2 382
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來邓萨,“玉大人地梨,你說我怎么就攤上這事菊卷。” “怎么了宝剖?”我有些...
    開封第一講書人閱讀 152,543評論 0 341
  • 文/不壞的土叔 我叫張陵洁闰,是天一觀的道長。 經(jīng)常有香客問我万细,道長扑眉,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 55,221評論 1 279
  • 正文 為了忘掉前任赖钞,我火速辦了婚禮腰素,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘雪营。我一直安慰自己耸弄,他們只是感情好,可當我...
    茶點故事閱讀 64,224評論 5 371
  • 文/花漫 我一把揭開白布卓缰。 她就那樣靜靜地躺著计呈,像睡著了一般。 火紅的嫁衣襯著肌膚如雪征唬。 梳的紋絲不亂的頭發(fā)上捌显,一...
    開封第一講書人閱讀 49,007評論 1 284
  • 那天,我揣著相機與錄音总寒,去河邊找鬼扶歪。 笑死,一個胖子當著我的面吹牛摄闸,可吹牛的內(nèi)容都是我干的善镰。 我是一名探鬼主播,決...
    沈念sama閱讀 38,313評論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼年枕,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了熏兄?” 一聲冷哼從身側(cè)響起品洛,我...
    開封第一講書人閱讀 36,956評論 0 259
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎摩桶,沒想到半個月后硝清,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體辅斟,經(jīng)...
    沈念sama閱讀 43,441評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 35,925評論 2 323
  • 正文 我和宋清朗相戀三年芦拿,在試婚紗的時候發(fā)現(xiàn)自己被綠了士飒。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片查邢。...
    茶點故事閱讀 38,018評論 1 333
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖变汪,靈堂內(nèi)的尸體忽然破棺而出侠坎,到底是詐尸還是另有隱情,我是刑警寧澤裙盾,帶...
    沈念sama閱讀 33,685評論 4 322
  • 正文 年R本政府宣布实胸,位于F島的核電站,受9級特大地震影響番官,放射性物質(zhì)發(fā)生泄漏庐完。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,234評論 3 307
  • 文/蒙蒙 一徘熔、第九天 我趴在偏房一處隱蔽的房頂上張望门躯。 院中可真熱鬧,春花似錦酷师、人聲如沸讶凉。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,240評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽懂讯。三九已至,卻和暖如春台颠,著一層夾襖步出監(jiān)牢的瞬間褐望,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,464評論 1 261
  • 我被黑心中介騙來泰國打工串前, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留瘫里,地道東北人。 一個月前我還...
    沈念sama閱讀 45,467評論 2 352
  • 正文 我出身青樓荡碾,卻偏偏與公主長得像谨读,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子玩荠,可洞房花燭夜當晚...
    茶點故事閱讀 42,762評論 2 345

推薦閱讀更多精彩內(nèi)容

  • ORA-00001: 違反唯一約束條件 (.) 錯誤說明:當在唯一索引所對應的列上鍵入重復值時漆腌,會觸發(fā)此異常。 O...
    我想起個好名字閱讀 5,176評論 0 9
  • Swift1> Swift和OC的區(qū)別1.1> Swift沒有地址/指針的概念1.2> 泛型1.3> 類型嚴謹 對...
    cosWriter閱讀 11,089評論 1 32
  • 一阶冈、簡歷準備 1、個人技能 (1)自定義控件塑径、UI設計女坑、常用動畫特效 自定義控件 ①為什么要自定義控件? Andr...
    lucas777閱讀 5,186評論 2 54
  • 第一部分 HTML&CSS整理答案 1. 什么是HTML5统舀? 答:HTML5是最新的HTML標準匆骗。 注意:講述HT...
    kismetajun閱讀 27,422評論 1 45
  • 首頁 資訊 文章 資源 小組 相親 登錄 注冊 首頁 最新文章 IT 職場 前端 后端 移動端 數(shù)據(jù)庫 運維 其他...
    Helen_Cat閱讀 3,843評論 1 10