Python讀取/批量讀取文件

相信很多人的日常工作中剩岳,數(shù)據(jù)源除了來自數(shù)據(jù)庫以外,其次就是外部文件拙吉,因此掌握讀取文件的技能是相當必要的。在這里特此整理讀取外部文件的方法揪荣,希望能有助你們快速解決問題筷黔。當然本文對讀者的假設(shè)是有一定的python基礎(chǔ)知識。

此篇就以pandas模塊【讀取CSV 】 為例变逃,我會貼上我的代碼截圖

【讀取CSV 】

1.讀取單個CSV文件

以下例子中必逆,設(shè)置工作目錄(這一步可用也可不用)只是為了方便,在批量讀取文件的時候你更能體會它的好用揽乱;sep用來指定字符的分隔符號,常用的有空格 【''】粟矿,逗號【','】凰棉,【'\t'】

當然我最喜歡的是sep = None,?選擇這個之后,python會自動檢測分隔符號陌粹,當你讀取文件報錯時撒犀,不妨改為?sep = None?試試。另外還有一個常用參數(shù)是header,指定數(shù)據(jù)是否包含指標名稱的或舞,默認為0荆姆,表示第0行是header;如果設(shè)置header = None,則下圖中的日期映凳,來訪人數(shù)胆筒,購買人數(shù)也會被認為是數(shù)據(jù)。更多read_csv的參數(shù)見:http://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_csv.html

設(shè)置工作目錄效果
不設(shè)置工作目錄效果

2.批量讀取csv文件

工作中可能會遇到一個文件夾有很多csv文件诈豌,或許里面還有很多excel文件仆救,且命名還不太一樣,如果手動輸入文件名矫渔,會累攤且也不是我們數(shù)據(jù)分析的方法彤蔽。

如下圖2.1,我們先批量獲取csv的文件名庙洼,然后再循環(huán)讀取csv文件顿痪,相信細心的你已經(jīng)發(fā)現(xiàn)指標名稱亂碼了,這時候我們就需要動用read_csv的encoding參數(shù)啦油够,使用方法見圖2.2蚁袭。

其中有2個函數(shù),os.path.splitext是將文件名分隔開叠聋;如abc.csv則分為'abc'?和'.csv'2部分撕阎,他們的切片位置是[0,1]那os.path.splitext[1]就表示'.csv'。另外os.walk()要想了解更多更細碌补,就需要你們自行百度模索虏束,這里就不作細說了。

圖2.1
圖2.2


由于時間關(guān)系厦章,這周先碼這么多镇匀,下周再續(xù)

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市袜啃,隨后出現(xiàn)的幾起案子汗侵,更是在濱河造成了極大的恐慌,老刑警劉巖群发,帶你破解...
    沈念sama閱讀 206,723評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件晰韵,死亡現(xiàn)場離奇詭異,居然都是意外死亡熟妓,警方通過查閱死者的電腦和手機雪猪,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,485評論 2 382
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來起愈,“玉大人只恨,你說我怎么就攤上這事译仗。” “怎么了官觅?”我有些...
    開封第一講書人閱讀 152,998評論 0 344
  • 文/不壞的土叔 我叫張陵纵菌,是天一觀的道長。 經(jīng)常有香客問我休涤,道長咱圆,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 55,323評論 1 279
  • 正文 為了忘掉前任滑绒,我火速辦了婚禮闷堡,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘疑故。我一直安慰自己杠览,他們只是感情好,可當我...
    茶點故事閱讀 64,355評論 5 374
  • 文/花漫 我一把揭開白布纵势。 她就那樣靜靜地躺著踱阿,像睡著了一般。 火紅的嫁衣襯著肌膚如雪钦铁。 梳的紋絲不亂的頭發(fā)上软舌,一...
    開封第一講書人閱讀 49,079評論 1 285
  • 那天,我揣著相機與錄音牛曹,去河邊找鬼佛点。 笑死,一個胖子當著我的面吹牛黎比,可吹牛的內(nèi)容都是我干的超营。 我是一名探鬼主播,決...
    沈念sama閱讀 38,389評論 3 400
  • 文/蒼蘭香墨 我猛地睜開眼阅虫,長吁一口氣:“原來是場噩夢啊……” “哼演闭!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起颓帝,我...
    開封第一講書人閱讀 37,019評論 0 259
  • 序言:老撾萬榮一對情侶失蹤米碰,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后购城,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體吕座,經(jīng)...
    沈念sama閱讀 43,519評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 35,971評論 2 325
  • 正文 我和宋清朗相戀三年瘪板,在試婚紗的時候發(fā)現(xiàn)自己被綠了米诉。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,100評論 1 333
  • 序言:一個原本活蹦亂跳的男人離奇死亡篷帅,死狀恐怖史侣,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情魏身,我是刑警寧澤惊橱,帶...
    沈念sama閱讀 33,738評論 4 324
  • 正文 年R本政府宣布,位于F島的核電站箭昵,受9級特大地震影響税朴,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜家制,卻給世界環(huán)境...
    茶點故事閱讀 39,293評論 3 307
  • 文/蒙蒙 一正林、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧颤殴,春花似錦觅廓、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,289評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至矮瘟,卻和暖如春瞳脓,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背澈侠。 一陣腳步聲響...
    開封第一講書人閱讀 31,517評論 1 262
  • 我被黑心中介騙來泰國打工劫侧, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人哨啃。 一個月前我還...
    沈念sama閱讀 45,547評論 2 354
  • 正文 我出身青樓烧栋,卻偏偏與公主長得像,于是被迫代替她去往敵國和親棘催。 傳聞我的和親對象是個殘疾皇子劲弦,可洞房花燭夜當晚...
    茶點故事閱讀 42,834評論 2 345

推薦閱讀更多精彩內(nèi)容